메인 콘텐츠로 건너뛰기

IP 로테이션?

최소 1년 전에 업데이트됨

많은 웹 사이트에서 웹 크롤러를 차단하기 위해 높은 보안 조치를 취하고 있습니다. IP 로테이션 기능으로 웹 사이트로부터 차단될 위험을 줄이고 스크래핑 활동을 안전하게 유지할 수 있습니다.


Octoparse가 제공하는 방법

1. 사용자 정의 프록시

현재 로컬 추출을 위해 사용자 정의 프록시를 추가할 수 있습니다. 자세한 내용은 IP 프록시 설정에서 확인할 수 있습니다.

Octoparse는 프록시를 제공하지 않습니다. 외부 프록시 중에는 웹에서 사용할 수 있는 유료 프록시 서버뿐만 아니라 무료 프록시 서버도 많이 있습니다.

2. IP 로테이션

Octoparse Cloud 서비스는 각각 고유한 IP 주소를 가진 수천 개의 클라우드 서버에서 지원됩니다. 추출 작업이 Cloud에서 실행되도록 설정되면 해당 작업는 하위 작업로 분할되고 각 하위 작업는 Cloud 서버에서 동시에 실행됩니다. 따라서 다양한 IP를 통해 대상 웹사이트에서 요청이 수행되어 대상 웹사이트에 의해 추적되고 차단될 가능성을 최소화합니다. IP 저장소는 지속적으로 업데이트되고 있습니다.


클라우드 추출의 좋은점

1. 추출 속도 향상

6~20개의 클라우드 서버가 동시에 데이터를 수집합니다. 따라서 동일한 데이터를 클라우드에서 로컬보다 6~20배 더 빠르게 수집할 수 있습니다.

2. 캡차 피하기

IP가 많을수록 일반적으로 추적/탐지 가능성이 떨어지므로 캡차가 줄어듭니다.

(Octoparse 클라우드 서비스의 이점에 대해 자세히 알아보기)

답변이 도움되었나요?