오늘날의 웹 환경에서 많은 웹사이트가 Cloudflare를 사용하여 악성 활동으로부터 보호하고 있으며, 이는 데이터 스크래핑이 더 어려워지게 만들었습니다. 이 튜토리얼에서는 Cloudflare 검증이 무엇인지 설명하고 이를 우회하는 두 가지 입증된 솔루션을 안내해 드리겠습니다.
Cloudflare 검증이란 무엇인가요?
Cloudflare 검증은 웹사이트에서 합법적인 사용자와 자동화된 봇을 구별하는 데 사용하는 보안 조치입니다. 여기에는 종종 CAPTCHA 챌린지, 브라우저 무결성 검사 및 속도 제한이 포함됩니다. 이러한 검증은 DDoS 공격, 스팸 및 스크래핑과 같은 위험으로부터 웹사이트를 보호하는 데 도움이 되지만 웹 스크래핑 도구에 상당한 장애물이 되기도 합니다.
Octoparse에서는 이 문제를 어떻게 처리하나요?
솔루션 1: 크레딧을 사용한 자동 우회
8.7.2 버전부터 Octoparse는 Cloudflare 챌린지를 자동으로 해결할 수 있습니다. 웹사이트에 Cloudflare 캡차가 표시되면 크레딧으로 Cloudflare 우회 옵션을 체크하고 Cloudflare 턴스타일이 나타나면 확인을 클릭 하고 자동으로 우회될 때까지 기다리기만 하면 됩니다.
이 기능은 1,000건의 요청당 1.5달러가 청구되므로 사용하기 전에 본인 계정에 충분한 크레딧이 충전되어 있는지 확인하세요. 주의해야 할 점은 성공 여부와 관계없이 프로세스를 시작하기 위해 확인을 클릭하면 요금이 청구된다는 것입니다 . 이러한 Cloudflare 해결 성공률은 약 80%입니다.
또한 이 기능은 웹 페이지로 이동 단계 에서만 사용할 수 있다는 점에 유의하는 것이 중요합니다 . 즉, Octoparse는 스크래핑 프로세스 중에 실시간으로 다시 나타나는 Cloudflare를 감지하거나 해결할 수 없습니다.
참고: 스크래핑 중에 Cloudflare 확인 기능을 비활성화해야 하는 경우, 작업 설정 에서 크레딧으로 Cloudflare 우회 옵션의 선택을 해제하세요 .
솔루션 2: 수동 바이패스
작업을 편집하거나 실행할 때마다 Cloudflare 검증을 수동으로 우회할 수 있는 옵션도 있습니다. 이를 수행하는 방법에 대한 자세한 가이드는 이 튜토리얼을 참조하세요.