메인 콘텐츠로 건너뛰기

클라우드 실행에서 데이터를 순서대로 스크랩할 수 없는 원인은?

최소 1년 전에 업데이트됨

"클라우드 실행"으로 작업을 실행할 때 작업이 여러 하위 작업으로 분할되어 각각 여러 서버에서 동시에 클라우드에서 실행됩니다. 이렇게 하위 작업에서 긁어낸 데이터가 동시에 저희에게 전송되기 때문에 데이터 순서가 정렬이 되지 않을 수 있습니다.

순서대로 실행하는 방법은 두 가지가 있습니다. 둘 다 하나의 하위 작업으로 모든 작업을 실행하는 방법입니다.


1. 작업 분할 사용 안 함 - 하나의 IP에서 모든 작업을 실행합니다.

  • Octoparse 인터페이스의 오른쪽 상단에 있는 설정 버튼을 클릭합니다.

  • 실행 설정으로 이동

  • 작업 분할 사용 안 함 선택

  • 저장을 클릭

이 옵션을 선택한 후에는 작업이 여러 하위 작업으로 분할되지 않습니다. 따라서 데이터는 로컬 실행과 같은 순서가 될 것입니다. 여전히 순서가 다른 경우에는 데이터 추출 작업의 대기 시간을 설정할 수 있습니다.

Extract_Data.png

2. 클라우드 리소스를 1로 설정 - 하나의 IP를 사용하여 모든 작업을 실행합니다.

  • 대시보드로 이동

  • 작업을 설정하려면 세로 "..." 버튼을 클릭합니다.

  • 클라우드 실행 클릭

  • 클라우드 리소스 선택

....png
  • 박스에 입력 1

  • 저장을 클릭합니다.

SAVE.png

이 옵션을 사용하면 작업을 여러 하위 작업으로 분할할 수 있지만 Octoparse는 한 번에 하나의 하위 태스크만 실행하므로 결과가 순서대로 표시됩니다.

참고: 클라우드 속도는 당시 실행 중인 하위 작업의 수에 따라 달라지므로 두 솔루션 모두 스크랩 속도를 느리게 합니다.

답변이 도움되었나요?