大規模データ収集では、ネットワーク遅延、ブロッキング、異常応答などにより、収集タスクが長時間停滞したり、非効率的に待機することがあります。
Listly Enterpriseは、これらの問題を最小限に抑えるため、データ収集機能に**「フェイルファスト戦略」**を適用しています。
「フェイルファスト」機能を使用すると、グループ抽出中に一定の割合または数の失敗が検出された場合、グループ内の残りのすべてのタスクを停止し、次のタスクに移動するようシステムを設定できます。
この機能はグループ抽出arrow-up-rightタスク作成過程で設定できます。 ソースページを抽出後、結果ページ上部の [+グループ] ボタンをクリックします。
新しいグループにURLを入力後、フェイルファストオプションを設定します。
➊ パーセンテージ設定:選択したパーセンテージでタスクが失敗すると、残りのタスクは失敗としてマークされます。
➋ カウント設定:入力したカウント数でタスクが失敗すると、残りのタスクは失敗としてマークされます。
テストのため、パーセンテージを30%に設定し、10個のURLを入力してグループを作成しました。失敗シナリオをシミュレートするため、意図的に間違ったURLを入力しました。
以下は例の結果画面です。30%(10個のURLのうち3個)で抽出が失敗した場合、残りの7つのタスクが自動的にフェイルファスト処理されたことが確認できます。
このようにフェイルファスト機能を活用することで、特定の状況での不要な待機時間を削減し、全体的なプロセス時間を大幅に短縮できます。
最終更新 1 か月前
役に立ちましたか?