V9-http二级代理功能使用介绍

网站时,如果目标网站有防采集机制,那么就无法达到批量采集的目的,这里介绍下中的二级代理功能,可以在火车采集器中调用代理IP以及拨号功能

一.二级代理功能

二级代理功能分为两种类型:固定代理以及商业代理,下面介绍下,使用二级代理功能前需要先进行的设置:

1.设置 [代理验证网页及数据缓存设置]:点击如图向下箭头可设置此步骤,此步骤是用于验证代理IP是否可用。原理是通过设置代理IP访问地址,若是能正常返回设定的字符,则代理IP验证通过。

这里的[访问地址]一般使用的是你要采集的目标站的地址,[返回字符] 用该地址正常访问时返回的源码

V9-http二级代理功能使用介绍

2.设置好步骤后,就可以选择使用[固定代理]还是[商业代理]了。

(1)固定代理:固定代理可以选择两种添加方式,

①点击[添加]按钮,手动填写ip以及相关信息

②若是大批量的IP,可以使用文本[导入]的方式,如下图文本中格式。如果是有用户名密码,格式为:user:paaword@58.218.200.228:9053。若无,如下图正常的IP格式即可。一行一个分割IP。

然后点击代理验证,验证IP的是否可用。

V9-http二级代理功能使用介绍

V9-http二级代理功能使用介绍

(2)[商业代理]:商业代理是基于付费代理的api来获取IP的。需要您从网上购买代理IP的api来使用,这里介绍下使用过程中的注意事项:

V9-http二级代理功能使用介绍

①请求网址:您需要在您购买代理的付费网站生成api,该api要求访问一次可以获取一个IP,是文本格式,你用该api直接在中打开,显示如下图:

V9-http二级代理功能使用介绍

②代理数量:有效的代理IP数量,即同时请求几个代理IP供用户使用。比如写2,即两个代理Ip轮流使用,若是IP失效了,或者是封禁了,那么就会自动请求网址api,补充代理IP,保证同时可用的IP数量为2。

③代理更换方式:

定时:按照指定的时间间隔更换IP

定量:每个IP使用指定次数后,就更换IP

封禁:当采集到的内容出现指定的字符串后,则代表IP不可用,就更换IP。

以上方式进行更换的代理IP,若是勾选下面的选项,则会自动验证代理IP是否有效。

V9-http二级代理功能使用介绍

以上两种代理可以任选一种方式设置,设置好之后,可以设置一个空闲的端口,然后点击启动代理,接着在规则中调用该代理IP,保存后运行任务,接着就可以在http二级代理中看到运行日志:

V9-http二级代理功能使用介绍

V9-http二级代理功能使用介绍

原文地址:http://faq.locoy.com/q-1312.html

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。
火车头

入库存储过程实现功能--查询数据新增数据直接插入,已有数据进行更新

2024-1-22 22:26:18

火车头

V9集成旧版本的免费翻译插件功能

2024-1-22 22:26:24

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索