7. 数据提取错误
0. 理解错误消息和截图
当访问页面失败时会出现 ConnectionError 消息。如果您访问的服务器宕机或速度太慢,就可能发生这种情况。如果 Listly 服务器的 IP 地址被阻止,并且您尝试提取数据的网站返回错误,也可能发生这种情况。
当标签页匹配失败时会出现 NoMatchingtabError,类似地,当页面访问失败时也会出现。在许多情况下,这是由于 Listly 服务器的 IP 地址被阻止,网站返回错误。
PartSelectionError 是另一个错误消息,当 Listly IP 地址被阻止且无法提取指定部分时可能发生。
首先,不要惊慌。检查错误消息,然后查看截图。
如果截图图像看起来像下面的示例,IP 地址被阻止的可能性很高。
1. 尽可能降低执行速度
有些热门网站吸引着来自世界各地的用户。这些网站会收到来自全球的大量滥用流量。使用 Listly 采集数据时,如果采集速度太快,网站可能会将该尝试解释为滥用,导致数据提取失败。在最坏的情况下,用户的 IP 地址可能会被封锁。为防止这种情况,Listly 团队在控制面板右上角添加了一个蓝色条,以便用户可以调整执行速度。
2. 设置代理服务器
代理服务器是您访问网站时中间经过的服务器。设置代理服务器的原因是为了隐藏访问者的 IP 地址。
为什么要隐藏地址?因为您访问的网站可以根据 IP 地址施加各种限制。以下是典型情况:
Listly 高级代理是 Listly 从海外供应商购买的代理服务器。它们是所有用户共享使用的服务器。
目前我们提供美国/德国/荷兰的服务器,国家可能会随时间变化。
2-1 使用共享代理仍被阻止时:设置专用代理服务器
如果您使用了共享代理,但仍然看到 Connection Error/Empty Data Error 消息和表明您已被阻止的截图,该怎么办?
即使您设置了共享代理服务器,您仍然被阻止了。
默认代理服务器是共享代理,不仅您在使用,其他许多付费用户也在使用。
即使您没有使用特定的共享代理,其他用户可能已经使用该代理服务器提取了相同的网站并被阻止,从而给您造成问题。
因此,为了消除与他人共享代理服务器的风险,最好使用专用代理服务器。
专用代理可以由请求它的单个用户独占使用,无需担心其他用户造成的阻止,即可实现稳定的服务器配置。
此外,如果您需要 Listly 默认提供的国家以外的代理,最好使用专用代理(例如,东欧/中东/拉丁美洲/大洋洲国家)。
当然,即使使用专用代理,如果您持续快速采集大量数据,仍然有被阻止的可能。
在这种情况下,我们可以免费为您更换一次第三方代理,或为您购买和设置另一个代理服务器。
届时,您可以订阅专属于您的专用代理服务器。
请发送电子邮件至 [email protected],注明所需国家的代理服务器和预计的每月数据提取量。
示例)日本代理服务器 / 预计每月 7,000 次提取
示例)韩国代理服务器 / 预计每月 500 次提取
月订阅费从 60,000 韩元起。
但是,虽然更高质量的代理服务器不太可能被阻止,其价格也会随质量成比例增加。
3. 减少批量提取的 URL 数量
假设您想通过输入 1,000 个 URL 来执行批量提取。
但是,如果您访问的平台已经防御大量访问和数据提取尝试,您在批量提取中包含的 URL 越多,就越可能被视为攻击。
因此,在添加用于批量提取的 URL 时,我们建议不要一次性提取所有 URL,而是将 URL 分成较小的批次并逐步提取。
例如,如果您尝试使用 1,000 个 URL 进行批量提取但失败了?
我们建议将它们分成 100 或 200 个,执行多次批量提取以防止被阻止。
最后更新于
这有帮助吗?







