网页爬虫如何挑选住宅代理 IP

网页爬虫想做得稳，关键不在“IP 多”，而在每一个请求看上去都是合理的。住宅代理只是其中一环，需要和并发、Retry、Header 策略配合。

1. 选代理 IP 前先看目标站

目标站类型决定代理 IP 选型：电商类、社交类、SERP 类对住宅 IP 偏好明显；公开数据站点用机房代理也能跑。建议先用少量住宅代理 出口做 A/B 测试。

2. 并发模型与会话粘性

• 无状态采集：用动态住宅代理，按请求轮换 IP。
• 带登录态采集：用粘性会话，保持同一个 IP 直到任务结束。
• 分布式爬虫：把目标 URL 哈希到不同会话，分散到不同地区的海外IP。

3. Header 与 TLS 指纹

住宅 IP 真实但 Header、TLS 指纹不真实也会被识别。建议固定一组现代浏览器 UA，匹配真实 sec-ch-ua、Accept-Language；高对抗场景可以用 curl-impersonate 或 Playwright。

4. 超时和重试

把超时分两层：connect 超时 5 秒，read 超时 15 秒。失败请求按指数退避重试 2-3 次，重试时切换代理 IP 而不是反复打同一个出口。

5. 数据清洗与日志

把每次请求的代理 IP、地区、状态码、响应大小记录下来，定期分析哪个地区的住宅IP 池子表现最好，反过来优化采集策略。