대규모 데이터 수집에서는 네트워크 지연이나 차단, 비정상 응답 등으로 인해 수집 작업이 장시간 멈추거나 비효율적으로 대기하는 경우가 발생할 수 있습니다.
리스틀리 엔터프라이즈는 이러한 문제를 최소화하기 위해 ‘빠르게 실패하기 전략(Fast-Fail Strategy)’을 데이터 수집 기능에 적용하고 있습니다.
‘빠르게 실패하기’ 기능은 그룹추출 시 일정 비율 혹은 일정 개수 이상의 실패가 감지되면, 그룹에 남은 모든 작업을 중단하고 다음 태스크로 넘어가도록 설정할 수 있는 기능입니다.
해당 기능은 그룹 추출 태스크를 생성하는 과정에서 설정할 수 있습니다. 소스 페이지 추출한 뒤, 결과 페이지에서 상단의 [+그룹] 버튼을 클릭합니다.
새 그룹에 URL을 입력한 후, 옵션 중 빠르게 실패하기(Fail-Fast) 항목을 설정합니다.
➊ 비율 설정 : 선택한 비율 만큼의 작업 실패 시, 나머지 작업을 실패로 처리합니다.
➋ 개수 설정 : 입력한 개수 만큼의 작업 실패 시, 나머지 작업을 실패로 처리합니다.
테스트를 위해 비율을 30%로 설정하고, 그룹 생성을 위해 URL 10개를 입력했습니다. 이 때, 실패 상황을 연출하기 위해 일부러 잘못된 URL을 입력했습니다.
아래는 설정 예시 결과 화면입니다. 10개의 URL중 30%(3개)의 추출이 실패하자, 나머지 7개의 태스크가 자동으로 Fail-Fast 처리된 것을 확인할 수 있습니다.
이처럼 Fail-Fast 기능을 활용하면, 특정 상황에서 불필요한 대기 시간을 줄이고 전체 프로세스 시간을 크게 단축할 수 있습니다.
Last updated 3 months ago
Was this helpful?
