[Enterprise] 프록시 자동 재시도

프록시 자동 재시도란?

대량의 데이터를 수집할 때는, 일부 요청이 네트워크 차단·타임아웃·IP 제한 등으로 인해 실패하는 경우가 발생할 수 있습니다.

프록시 자동 재시도 기능은 이러한 실패 상황에서도 성공률을 높여주는 엔터프라이즈 전용 기능입니다. 이 기능은 요청이 실패할 때마다 자동으로 다른 프록시 IP로 전환하여, 연결 안정성을 유지한 채 수집을 이어가는 방식으로 작동합니다.


사용방법

1

스크린샷을 이용해 추출 실패 원인 파악하기

그룹 추출, 자동 클릭, 자동 스크롤, 템플릿, 스케줄 태스크 등 서버를 통해 실행되는 추출 작업 중 웹사이트 차단으로 인해 수집이 실패한 경우, 프록시 자동 재시도 기능을 통해 작업 성공률을 높일 수 있습니다.

2

추출 태스크의 설정창으로 이동해주세요.

태스크의 설정창에 진입합니다.

3

개인 프록시 섹션에서 재시도(프록시) 버튼을 클릭해주세요.

설정창의 [개인 프록시] 섹션에서 [재시도(프록시)] 옵션에 체크하여 기능을 활성화합니다.

4

세부 옵션을 설정해주세요.

프록시 자동 재시도 옵션의 각 설명은 다음과 같습니다.

A. 프록시 풀 선택

All Private proxies : 등록된 모든 개인 프록시 중 사용 가능한 IP를 순차적으로 재시도합니다.

All Private proxies in same country : 선택한 프록시와 동일한 국가의 프록시만 사용합니다.

All Private proxies in same providers : 선택한 프록시와 동일한 제공업체(Provider)의 프록시만 사용합니다.

B. 요청 간격 선택

요청 간격은 자유롭게 지정할 수 있습니다. 단, 간격을 너무 짧게 설정할 경우 먼저 추출을 시도중인 프록시 서버의 작업이 끝나지 않은 상태에서 다음 요청이 중복될 수 있으므로, 웹 페이지의 데이터 양에 따라 적절히 작업 간격을 유지하는 것을 권장합니다.

5

선택한 설정값을 저장해주세요.

설정을 마치셨다면 설정창 하단의 [저장하기] 버튼을 클릭합니다.

6

해당 태스크를 재추출해주세요.

설정값을 저장한 후, 태스크 목록에서 [재추출] 아이콘을 클릭하면 설정된 프록시 자동 재시도 규칙이 적용된 상태로 수집이 다시 진행됩니다.

7

재추출 처리 결과를 확인해보세요.

추출이 완료된 후, 그룹 결과창에서 각 요청의 처리 결과를 확인할 수 있습니다. 표의 재시도 열에 표시된 숫자는 프록시 자동 재시도 과정의 기록을 의미합니다. 표기방식은 성공차수 / 프록시 풀 개수 입니다. 예를들어 6 / 15로 표시된 경우, 설정에서 선택한 15개 프록시 서버 중 6번째 프록시에서 추출에 성공했다는 의미입니다. 이 값을 통해 얼마나 많은 프록시 교체 시도가 있었는지, 특정 요청이 얼마나 민감하게 차단되었는지 등을 직관적으로 파악할 수 있습니다.

Last updated

Was this helpful?