設定 - 実行速度

抽出速度調整とは？

グローバルトラフィックを持つ人気のあるウェブサイトでは、不正なトラフィックをブロックするシステムを実行していることがよくあります。Listlyでのデータ収集速度が速すぎると、ウェブサイトはそれを不正な動作としてフラグを立て、アクセスをブロックする可能性があります。最悪の場合、IPアドレスが永久にブロックされる可能性があります。これを防ぐために、Listlyでは収集速度を制御できます。

収集速度が速いほど、IPブロッキングの可能性が高くなります。

この問題が発生した場合、Listly Enterpriseが役立ちます。プレミアムプロキシ購入 + 自動再試行機能により、リクエストごとに新鮮で高品質なIPアドレスを使用し、収集が失敗した場合、システムは自動的に別のIPで再試行します。

詳細については、Listlyチームにお問い合わせください。

---

使い方

1

収集速度を遅くする

データ収集速度とは、同時に収集されるURLの数を指します。したがって、速度15は、一度に最大15のウェブページを収集することを意味します。対象サイトの観点から見ると、これはトラフィック攻撃のように見える可能性があります。多くのサイトでは、短時間に多くのページにアクセスすると、人間であることを確認するように求めたり、IPを永久にブロックしたりします。これにより、抽出が失敗します。

これを防止および対処するために、Listlyでは抽出速度を手動で調整できます。実際の人間のブラウジング速度を模倣する最小値の1または2をお勧めします。収集速度が遅いほど、抽出失敗の可能性が低くなります。

Listly Databoardに移動し、下のスクリーンショットに示すように、右上隅の抽出速度バーを確認してください。

抽出速度バー

目的の速度に調整し、**[Yes]**ボタンをクリックします。

速度1を選択すると、最も遅い収集を意味し、15を選択すると、最も速い収集を意味します。これは、一度に1つのURLを収集するか、一度に15のURLを収集するかの違いです。

速度設定スクリーンショット

2

収集速度を上げる

収集速度を上げるスクリーンショット

データ収集を迅速に完了したい場合は、高品質プロキシを使用しながら抽出速度を上げて、ブロッキングリスクを軽減することをお勧めします。プロキシは別途購入できます。