[Enterprise] 빠르게 실패하기 전략(Fail Fast Strategy)

빠르게 실패하기 전략이란?

대규모 데이터 수집에서는 네트워크 지연이나 차단, 비정상 응답 등으로 인해 수집 작업이 장시간 멈추거나 비효율적으로 대기하는 경우가 발생할 수 있습니다.

리스틀리 엔터프라이즈는 이러한 문제를 최소화하기 위해 ‘빠르게 실패하기 전략(Fast-Fail Strategy)’을 데이터 수집 기능에 적용하고 있습니다.

‘빠르게 실패하기’ 기능은 그룹추출 시 일정 비율 혹은 일정 개수 이상의 실패가 감지되면, 그룹에 남은 모든 작업을 중단하고 다음 태스크로 넘어가도록 설정할 수 있는 기능입니다.

---

사용방법

1

소스 페이지 추출 후 [+그룹] 버튼 클릭하기

해당 기능은 그룹 추출 태스크를 생성하는 과정에서 설정할 수 있습니다. 소스 페이지 추출한 뒤, 결과 페이지에서 상단의 [+그룹] 버튼을 클릭합니다.

2

새 그룹에 URL 입력 후, 빠르게 실패하기 (Fail-Fast) 옵션 설정하기

새 그룹에 URL을 입력한 후, 옵션 중 빠르게 실패하기(Fail-Fast) 항목을 설정합니다.

➊ 비율 설정 : 선택한 비율 만큼의 작업 실패 시, 나머지 작업을 실패로 처리합니다.

➋ 개수 설정 : 입력한 개수 만큼의 작업 실패 시, 나머지 작업을 실패로 처리합니다.

테스트를 위해 비율을 30%로 설정하고, 그룹 생성을 위해 URL 10개를 입력했습니다. 이 때, 실패 상황을 연출하기 위해 일부러 잘못된 URL을 입력했습니다.

3

태스크 진행 상황 확인하기

아래는 설정 예시 결과 화면입니다. 10개의 URL중 30%(3개)의 추출이 실패하자, 나머지 7개의 태스크가 자동으로 Fail-Fast 처리된 것을 확인할 수 있습니다.

이처럼 Fail-Fast 기능을 활용하면, 특정 상황에서 불필요한 대기 시간을 줄이고 전체 프로세스 시간을 크게 단축할 수 있습니다.