동시 작업(Concurrent Tasks)이란 클라우드 또는 로컬 컴퓨터에서 동시에 실행되는 작업을 의미합니다. 다만, 몇 가지 구분해서 이해해야 할 사항이 있습니다.
로컬 동시 실행은 로컬 컴퓨터에서 실행 중인 작업 수를 의미합니다. 무료나 베이직 플랜의 경우 로컬 동시 실행 작업 수가 최대 2개로 제한됩니다. 그 외 모든 플랜에서는 로컬 동시 실행에 제한이 없습니다.
클라우드 동시 실행은 클라우드 환경에서 동시에 실행되는 작업의 개수를 의미합니다.
💡팁:
대시보드 필터 기능을 사용하면 계정에서 현재 실행 중인 작업을 확인할 수 있습니다.
자주 묻는 질문
Q1:
스탠다드 플랜처럼 클라우드 노드가 6개 포함된 플랜의 경우, 클라우드에서 반드시 6개의 작업이 동시에 실행되어야 하나요?
A1:
계정에 6개의 클라우드 노드가 할당되어 있다면 이론적으로는 최대 6개의 작업을 동시에 클라우드에서 실행할 수 있습니다.
다만, 데이터 추출 속도를 최적화하기 위해 Octoparse는 작업을 자동으로 더 작은 서브 작업으로 분할하려고 시도합니다.
작업이 분할되면, 각 하위 작업은 개별 클라우드 노드에서 실행되어 데이터 추출 속도를 높입니다. 이로 인해 특정 상황에서는 하나의 작업이 2개 이상의 클라우드 노드를 사용할 수도 있습니다.
(작업 분할에 대한 자세한 내용은 링크를 통해 해당 튜토리얼을 참고해 주세요.)
만약 작업 분할이 필요하지 않다고 판단될 경우, 해당 기능을 비활성화할 수 있으며, 이 경우 클라우드에서는 항상 6개의 작업이 동시에 실행됩니다.
💡팁:
1. 작업 분할이 필요하지 않은 경우, 작업 설정에서 해당 기능을 비활성화할 수 있습니다.
2. 클라우드 추출 속도를 높이기 위해서는 동시에 실행되는 작업 수를 줄이는 것을 권장드립니다. 이렇게 하면 각 작업에 더 많은 클라우드 노드를 할당할 수 있습니다.
3. 현재 작업 목록에 대해 우선순위(Priority) 를 설정할 수도 있습니다.
