7. 数据提取错误

0. 理解错误消息和截图

当访问页面失败时会出现 ConnectionError 消息。如果您访问的服务器宕机或速度太慢,就可能发生这种情况。如果 Listly 服务器的 IP 地址被阻止,并且您尝试提取数据的网站返回错误,也可能发生这种情况。

当标签页匹配失败时会出现 NoMatchingtabError,类似地,当页面访问失败时也会出现。在许多情况下,这是由于 Listly 服务器的 IP 地址被阻止,网站返回错误。

PartSelectionError 是另一个错误消息,当 Listly IP 地址被阻止且无法提取指定部分时可能发生。

首先,不要惊慌。检查错误消息,然后查看截图。

如果截图图像看起来像下面的示例,IP 地址被阻止的可能性很高。

스크린샷 2025-02-13 오후 8.31.35 스크린샷 2025-02-13 오후 8.33.17

1. 尽可能降低执行速度

有些热门网站吸引着来自世界各地的用户。这些网站会收到来自全球的大量滥用流量。使用 Listly 采集数据时,如果采集速度太快,网站可能会将该尝试解释为滥用,导致数据提取失败。在最坏的情况下,用户的 IP 地址可能会被封锁。为防止这种情况,Listly 团队在控制面板右上角添加了一个蓝色条,以便用户可以调整执行速度。

스크린샷 2025-02-13 오후 6.37.19 스크린샷 2025-02-13 오후 6.38.37

2. 设置代理服务器

代理服务器是您访问网站时中间经过的服务器。设置代理服务器的原因是为了隐藏访问者的 IP 地址。

为什么要隐藏地址?因为您访问的网站可以根据 IP 地址施加各种限制。以下是典型情况:

1

当网站仅限特定国家访问时

有些网站只允许特定国家或地区的访问,使用对应国家的代理可以绕过地域限制。

2

当网站在一定时间内限制访问次数时

如果网站对来自单一 IP 的请求次数有限制,使用代理可以分散请求来源以降低被封风险。

3

当有不良记录的特定 IP 地址被限制时

某些 IP 可能已被网站拉入黑名单,使用新的代理 IP 可避免该限制。

Listly 高级代理是 Listly 从海外供应商购买的代理服务器。它们是所有用户共享使用的服务器。

目前我们提供美国/德国/荷兰的服务器,国家可能会随时间变化。

스크린샷 2025-02-13 오후 8.18.37 스크린샷 2025-02-13 오후 8.14.43

2-1 使用共享代理仍被阻止时:设置专用代理服务器

如果您使用了共享代理,但仍然看到 Connection Error/Empty Data Error 消息和表明您已被阻止的截图,该怎么办?

即使您设置了共享代理服务器,您仍然被阻止了。

默认代理服务器是共享代理,不仅您在使用,其他许多付费用户也在使用。

即使您没有使用特定的共享代理,其他用户可能已经使用该代理服务器提取了相同的网站并被阻止,从而给您造成问题。

因此,为了消除与他人共享代理服务器的风险,最好使用专用代理服务器。

专用代理可以由请求它的单个用户独占使用,无需担心其他用户造成的阻止,即可实现稳定的服务器配置。

此外,如果您需要 Listly 默认提供的国家以外的代理,最好使用专用代理(例如,东欧/中东/拉丁美洲/大洋洲国家)。

当然,即使使用专用代理,如果您持续快速采集大量数据,仍然有被阻止的可能。

在这种情况下,我们可以免费为您更换一次第三方代理,或为您购买和设置另一个代理服务器。

届时,您可以订阅专属于您的专用代理服务器。

请发送电子邮件至 [email protected],注明所需国家的代理服务器和预计的每月数据提取量。

示例)日本代理服务器 / 预计每月 7,000 次提取

示例)韩国代理服务器 / 预计每月 500 次提取

月订阅费从 60,000 韩元起。

但是,虽然更高质量的代理服务器不太可能被阻止,其价格也会随质量成比例增加。

스크린샷 2025-02-13 오후 8.18.37 스크린샷 2025-02-13 오후 8.14.43

3. 减少批量提取的 URL 数量

假设您想通过输入 1,000 个 URL 来执行批量提取。

但是,如果您访问的平台已经防御大量访问和数据提取尝试,您在批量提取中包含的 URL 越多,就越可能被视为攻击。

因此,在添加用于批量提取的 URL 时,我们建议不要一次性提取所有 URL,而是将 URL 分成较小的批次并逐步提取。

例如,如果您尝试使用 1,000 个 URL 进行批量提取但失败了?

我们建议将它们分成 100 或 200 个,执行多次批量提取以防止被阻止。

最后更新于

这有帮助吗?