Scrape post de LinkedIn – Web Scraping Herramienta | Octoparse

En este tutorial, le mostraremos cómo scrape las publicaciones de LinkedIn.com.

Para continuar, es posible que desee utilizar esta URL en el tutorial:

https://www.linkedin.com/search/results/content/?keywords=octoparse&origin=SWITCH_SEARCH_VERTICAL

Estos son los pasos principales de este tutorial: [Descargue el task file aquí ]

"Ir a la página web " - abre la página web de destino
Lidiando con el desplazamiento infinitivo
Crear un "Loop Item" - bucle extraer cada publicación
Extraer datos - seleccione los datos que necesita scrape
Inicie la extracción - ejecute su tarea y obtenga datos

1. "Ir a la página web " - abre la página web de destino

Haga clic en "+ Tarea" para comenzar una nueva tarea con "Modo Avanzado"
Pegue la URL en el cuadro "Input URL"
Haga clic en "Guardar URL" para continuar

Este sitio web requiere que iniciemos sesión primero, por lo que debemos ingresar nuestro nombre de usuario y contraseña para iniciar sesión antes de acceder a los datos que queremos. Consulte los detalles en este tutorial: Extraiga datos detrás de un inicio de sesión

¡Consejos!

Modo Avanzado es un modo de web scraping altamente flexible y potente. Para las personas que desean scrape de sitios web con estructuras complejas, como Amazon.com, recomendamos el Modo avanzado para comenzar su proyecto de extracción de datos.

2. Lidiando con el desplazamiento infinitivo

En este caso, la paginación no es una opción para cargar contenido, necesitaremos desplazarnos hacia la parte inferior de la página continuamente para cargar completamente todo el contenido.

Seleccione "Desplazarse hacia abajo hasta la parte inferior de la página cuando termine de cargar" en "Opciones Avanzadas"
Establezca "Scroll times" e "Internal" que necesita
Seleccione "Desplazarse hacia abajo hasta la parte inferior de la página" como "Modo de desplazamiento"
Haga clic en "OK" para guardar

¡Consejos!

1. Asegúrese de ingresar "Scroll times", de lo contrario, Octoparse no realizaría la acción de "scroll down". Sugerimos que sea mejor establecer un valor relativamente más alto de "Scroll times" si necesita más datos.

2. La mayoría de los sitios web de redes sociales usan desplazamiento hacia abajo para actualizar para ver más datos, haga clic aquí para obtener más información sobre cómo lidiar con el desplazamiento infinito.

3. Crear un "Loop Item" - bucle extraer cada publicación

Scroll down y seleccione la 1st publicación en el navegador incorporado

Necesitamos asegurarnos de que todo el bloque de la primera publicación esté cubierto de azul cuando clic tu mouse. Solo de esta manera, podríamos ver que todo el bloque de publicaciones se resalta en verde después de hacer clic, cubriendo toda otra información como autor, título, contenido ... etc.

Haz clic en la segunda publicación completa

Octoparse reconocerá automáticamente los otros bloques similares y los resaltará en verde

Haga clic en "Extraer texto del elemento seleccionado" en el panel "Action Tips"

¡Consejos!

Normalmente podemos hacer clic en "Seleccionar todos los subelementos" en el panel "Consejos de Acción", pero en ciertas circunstancias (como este caso), Octoparse no puede generar la opción. Por lo tanto, podemos crear un bucle al principio y seleccionar los datos de cada publicación para extraerlos manualmente en el siguiente paso.

4. Extraer datos - seleccione los datos que necesita scrape

Seleccione los campos de datos no deseados.
Haga clic en el icono de "Eliminar campo de datos"
Haga clic en "Sí"
Haga clic en los datos que necesita en el primer bloque de elementos para scrape.
Seleccione "Extraer texto del elemento seleccionado" en el panel "Consejos de acción"
Cambie el nombre de la columna "Field name" de la lista de nombres predefinidos

¡Consejos!

¿Cómo podemos verificar si el xpath of Loop item es correcto?

Octoparse generará automáticamente la XPath del elemento del bucle. Dado que el diseño de esta página web es bastante simple, el XPath debe ser correcto. Pero aún así, podemos confirmarlo desplazándonos hacia abajo en la página para cargar más contenido, y luego verificar si los números de elementos en el ciclo están aumentando.

Como podemos ver, cuando nos desplazamos hacia abajo en la página manualmente, las publicaciones recién cargadas se pueden ubicar con éxito en el bucle.

Si desea obtener más información sobre XPath y cómo generarlo, aquí hay algunos tutoriales relacionados que puede necesitar

Localizar elementos con XPath
Video: Octoparse: XPath 101

5. Inicie la extracción - ejecute su tarea y obtenga datos

Clic en Guardar"
Haga clic en "Iniciar Extracción" en el lado superior izquierdo
Seleccione "Extracción local" para ejecutar la tarea en su computadora, o seleccione "Cloud Extracción" para ejecutar la tarea en la nube (solo para usuarios premium)

Para un usuario premium, Cloud Extraction es muy recomendable.