URL 목록 일괄 가져오기 기능은 대량의 URL을 한 번에 효율적으로 Octoparse에서 불러올 수 있도록 도와줍니다.
이 기능을 사용하면 로컬 파일(텍스트나 스프레드시트 등)에서 URL을 가져오거나, URL만 추출한 다른 작업의 결과 또는 일정한 규칙에 따라 자동 생성된 URL을 불러올 수 있습니다.
URL 일괄 입력 방법
사이드바에서 +신규를 클릭하고 사용자 지정 작업을 선택합니다.
다음 화면에서 URL 가져오기 패널이 나타나며 제공된 세 가지 방법 중 하나를 선택하여 URL을 추가할 수 있습니다(최대 1,000,000개 URL까지 한 작업에서 입력 가능).
1. 파일에서 URL 가져오기
CSV, TXT, Excel(.xlsx, .xls) 파일에서 URL을 불러올 수 있습니다.
단계:
파일에서 가져오기 선택
선택 클릭 후 파일 선택
Excel 파일 사용 시 URL이 포함된 시트와 열 선택
저장 클릭하여 가져오기 완료
참고:
미리보기에서는 처음 100개의 URL만 표시됩니다.
CSV 파일의 경우 URL이 있는 열이 한 개만 선택이 가능하며 추가 열이 선택될 경우 오류가 발생할 수 있습니다.
2. 다른 작업에서 URL 가져오기
이 기능은 두 작업을 연결하여 첫 작업에서 추출한 URL을 수동으로 내보내지 않고 바로 새 서브 작업에서 사용할 수 있게 해줍니다.
단계:
작업에서 가져오기 선택
URL이 있는 작업 그룹 및 해당 작업 선택
URL이 저장된 필드 지정
저장 클릭하여 가져오기 완료
📝참고:
메인 작업에서 새 URL이 추출되면 새로 만든 서브 작업에서 해당 URL이 자동으로 업데이트됩니다.
메인 작업의 클라우드 실행에서 생성된 URL만 가져올 수 있습니다.
1,000,000개 이상의 URL도 가져올 수 있습니다.
메인 작업 상태에 따라 서브 작업을 예약 실행할 수 있습니다.
3. 정의된 패턴으로 URL 일괄 생성하기
이 방법을 사용하면 기본 URL의 파라미터(또는 매개변수)를 변경하여 여러 개의 URL을 한 번에 생성할 수 있습니다.
단계:
배치 생성(일괄 생성) 선택
기본 URL 입력
URL 내에서 파라미터를 선택한 뒤 파라미터 추가 클릭
파라미터 유형을 선택하고 목록 생성 클릭
저장을 클릭하여 생성된 URL 목록 확인
파라미터 유형
3.1 숫자
처음 값, 증가/감소 값, 반복 횟수 또는 종료 값을 설정합니다.
예시: 1페이지부터 100페이지까지의 URL 생성
시작값: 1, 증가값: +1, 반복: 100
3.2 문자
문자 범위를 지정합니다.(예: A ~ Z)
3.3 시간
날짜 형식과 범위를 설정합니다. 호텔 예약이나 시간 기반 데이터에 유용합니다.
3.4 사용자 지정 목록
직접 정의한 목록을 입력합니다.(예: 키워드, 상품 ID 등)
💡팁:
여러 파라미터를 조합하여 복잡한 URL 패턴을 생성할 수도 있습니다.
예시:
기본 URL:
www.example.com/[category]/[page]파라미터 설정:
{A, B},page = {1, 2}생성된 URL:
www.example.com/A/1www.example.com/B/1www.example.com/A/2www.example.com/B/2