Ahora muchos sitios web utilizan Cloudflare para protegerse contra actividades maliciosas, lo que supone un reto para el scraping de datos. En este tutorial, explicaremos qué es la verificación de Cloudflare y te guiaremos a través de dos soluciones probadas para evitarla.

Cloudflare es una medida de seguridad utilizada por los sitios web para distinguir entre usuarios legítimos y bots automatizados. A menudo implica desafíos CAPTCHA, comprobaciones de integridad del navegador y limitación de velocidad. Estas verificaciones ayudan a proteger los sitios web de amenazas como ataques DDoS, spam y scraping, pero también suponen obstáculos importantes para las herramientas de scraping web.

A partir de la versión 8.7.2, Octoparse puede resolver los desafíos de Cloudflare automáticamente por usted. Cuando el sitio web muestre el captcha de Cloudflare, todo lo que tiene que hacer es marcar la opción Auto-Omitir Cloudflare with credit y hacer clic en Confirm cuando aparezca el torniquete de Cloudflare y esperar a que se omita automáticamente.

Esta función cuesta 1,5 $ por cada 1.000 solicitudes, así que asegúrate de que tienes suficientes créditos adicionales en tu cuenta antes de utilizarla.

Una cosa a tener en cuenta es que se te cobrará una vez que hagas clic en Confirmar para iniciar el proceso, tanto si tiene éxito como si no. La tasa de éxito en la resolución de estos desafíos es de alrededor del 80%.

También es importante tener en cuenta que esta función solo está disponible durante el paso Ir a la página web. Esto significa que Octoparse no puede detectar o resolver Cloudflare que reaparece en tiempo real durante el proceso de raspado.

(en modo Navegar sin consumir créditos)

También puedes omitir la verificación de Cloudflare manualmente cada vez que diseñes o ejecutes los flujos(tareas).

Para obtener una guía detallada sobre cómo hacerlo, consulta este tutorial.