그룹추출 - 1,2,3…연속된 페이지 URL 생성하기

주소 규칙 확인하기

추출하려는 웹 페이지에서 페이지 번호를 눌러가며 주소(URL)가 어떻게 바뀌는지 확인해 보세요. 대부분의 경우 page= 뒤의 숫자만 달라지는 구조를 가지고 있습니다.(1 페이지는 파라미터가 생략되어 있을 수도 있습니다.)

https://www.example.com/categories/420186/?sort=latest

https://www.example.com/categories/420186?page=2&sort=latest

https://www.example.com/categories/420186?page=3&sort=latest

이 원리를 이용해 하나의 URL로 전체 페이지의 페이지네이션 주소를 쉽게 만들 수 있습니다.

URL 자동 생성 도구 활용하기

A. 대화형 AI 서비스 이용하기 ^추천

ChatGPT와 같이 LLM을 기반으로 하는 대화형 AI 서비스를 이용하면 간단하게 연속된 페이지 주소를 생성할 수 있습니다. 아래 예제 페이지와 같이 추출하려는 페이지 주소 패턴을 확인해 "Page 숫자를 1부터 30까지 넣은 URL 주소를 만들어줘" 라고 이야기해보세요.

B. URL 빌더 사용하기

구글 등 포털에서 “sequential url generator” 또는 "url builder" 를 검색하면 여러 가지 무료 웹툴을 찾을 수 있습니다. 이 도움말에서는 예시로 Online Sequential Number, URL & Text Generator 서비스를 활용해 보겠습니다. (URL 구조만 이해한다면 엑셀 수식으로도 손쉽게 만들 수 있습니다.)

이용 서비스 링크로 이동하면 아래와 같은 화면이 나타납니다.

아래 예시와 같이 옵션을 설정해 연속된 페이지 URL을 생성해보세요.

예시 URL : https://www.example.com/categories/420186?page=2&sort=latest

➊ 페이지 숫자 앞, 변하지 않는 부분을 입력합니다.

➋ 페이지 시작 번호를 입력합니다. (1페이지는 파라미터가 생략된 경우도 많지만, page=1로 입력해도 문제없습니다.)

➌ 페이지 마지막 번호를 입력합니다.

➍ 숫자의 증가 단계를 입력합니다. 보통은 1,2,3… 순차적으로 증가하므로 1을 입력하시면 됩니다.

➎ 페이지 숫자 뒤, 변하지 않는 부분을 입력합니다. 없다면 비워두셔도 됩니다. 입력을 마친 후, 하단의 [Generate] 버튼을 클릭하면 연속된 URL이 자동으로 생성됩니다.

결과 활용하기

입력한 범위에 따라 URL이 순차적으로 생성되면, 생성된 주소들을 복사해 그룹 추출에 붙여 넣어 주세요. 여러 페이지를 한 번에 추출할 수 있습니다.