Hay algunos sitios web que pueden ser muy sensibles al web scraping y tomar algunas medidas serias contra el scraping, como el bloqueo de IP para detener cualquier posible actividad de scraping. Por lo tanto, usar varias IP es bastante útil durante la web scraping.
¿Qué ofrece Octoparse?
1. Proxies personalizados
Los proxies personalizados se pueden agregar para local extraction solo en este momento. Más detalles se pueden encontrar aquí: Set up proxies
Tenga en cuenta que Octoparse no proporciona proxies. Para obtener proxies externos, hay muchos servidores proxy gratuitos y pagos disponibles en la web.
2. Rotación de IP
El servicio Octoparse Cloud es compatible con miles de servidores en la nube, cada uno con una dirección IP única. Cuando una tarea de extracción está configurada para ejecutarse en la nube, la tarea se dividirá en subtareas y cada subtarea se ejecutará con un servidor de nube simultáneamente. Por lo tanto, el grupo de IP se actualiza constantemente, las solicitudes se realizan en el sitio web de destino a través de varias IP, lo que minimiza las posibilidades de que el sitio web de destino las rastree y bloquee.
¿Por qué quieres usar Cloud Extraction?
1. Velocidad de extracción
Hay de 6 a 20 servidores en la nube que scrape los datos simultáneamente. Entonces, el mismo conjunto de datos en la nube se puede extraer de 6 a 20 veces más rápido que con la extracción local.
2. Evita Captcha
Más IP generalmente significa menos probabilidades de ser rastreado/detectado, por lo tanto, menos Captcha.
(Conozca más sobre los beneficios del Octoparse cloud service)
