Si te encuentras con alguno de los problemas que se mencionan a continuación, puedes intentar configurar IP proxies manualmente en Octoparse:
No se puede acceder a Octoparse porque tu empresa o institución utiliza la intranet y restringe las solicitudes externas
El sitio web de destino es muy sensible al web scraping e implementa estrategias anti-scraping como el bloqueo de IP para detener las actividades de scraping
En este tutorial, vamos a mostrar cómo configurar los proxies con la última versión para resolver los problemas mencionados anteriormente.
Tenemos 2 tipos Proxy
Proxy Octoparse: IP que viene de Octoparse nodos de servidores en la nube
Proxy incorporado en Octoparse: IP residencial que viene de un conjunto de IP más independiente y privada.
1. Utilizar Proxy Ocotparse para iniciar sesión
Esta configuración para usuarios cuya empresa restringe las solicitudes externas. Solo para iniciar sesión, NO funciona durante el scraping.
Ir a la página de iniciar sesión
Ingresar la información requerida
Puedes probar si la conexión es buena y luego Confirmar la configuración
2. Utilizar Proxy Incorporado para el bloqueo de IP
Si un sitio web bloquea tu IP o nuestra nube, puedes configurar una IP proxy en la configuración de la tarea. Puedes utilizar tus propios proxies IP o utilizar los proxies incorporados de Octoparse (No es punto 1).
2.1 Configurar los proxies incorporados de Octoparse
La última versión de Octoparse introduce los proxies incorporados para tu uso directo.
Abre la tarea para la que deseas configurar los proxies
Haz clic en icono en la parte superior izquierda
Marca la casilla Usar IP proxies
Haz clic en Proxies incorporados
Selecciona el País/Región que desea para la dirección IP
Elige tiempo de rotación para el intervalo de rotación
Haz clic en el botón Guardar en la esquina superior izquierda de la interfaz para guardar tu configuración
NOTA:
Octoparse proxies incorporados funcionan durante la creación de la tarea o solo en el proceso de scraping (a partir de la versión 8.6.8).
Proxy incorporado Octoparse vale USD 3/GB. Asegúrate de que tienes suficientes créditos de proxy o créditos de cuenta para utilizar esta función.
Para activar los proxies incorporado, debes tener al menos $3 en Créditos de Cuenta. Simplemente, puedes recargar créditos haciendo clic en el botón Recargar Créditos.
El uso del proxy se basa en el tráfico de carga de la página.
Los proxies de 1 GB suelen poder raspar 500 páginas web. Los proxies no funcionan 100% para todas las páginas web. Puedes recargar algunos créditos para hacer pruebas primero.
Los créditos de proxies NO ES REEMBOLSABLE.
2.2 Utilizar tu Proxy (Solo para local)
Otra forma de configurar las IP proxies es acceder a tu propia IP en Octoparse.
Marca Personalizar IP Proxies
Haz clic en Configuración
Ingresa las IP proxies
NOTA:
Octoparse solo soportamos proxies HTTP - por favor, separa la dirección de IP y el puerto con dos puntos. Por ejemplo, 58.22.214.29:2318