4、配合状态码判断是否请求成功
2. 付费购买(目前市场上有很多 ip 代理商可自行百度了解,建议看看他们的接口文档(API&SDK))
存放在数据库(redis、mysql 等)维护多个代理网站:
一般代悝的存活时间往往在十几分钟左右,定时任务加上代理 IP 去访问网页,验证其是否可用 如果返回状态为 200,表示这个代理是可以使用的
1. Web 端加密可尝试移动端(app)
2. 解析加密,看能否破解
3. 反爬手段层出不穷js 加密较多,只能具体问题具体分析
1. 5、6 万条数据相对来说数据量比较小线程数量不做强制要求(做除法得一个合理值即可)
2. 多线程使用代理,应保证不在同时一刻使用一个代理 IP
3. 一般请求并发量主要考虑网站的反爬程度来定
但是你刷新后就会2个都执行,這样不好啊要不你就得存cookie或者localstage什么乱七八糟的了