Extractor de Contenido Universal

📌 ¿Cómo se puede extraer contenido estructurado de múltiples sitios web públicos con un solo rastreador?

Esta plantilla recopila contenido de página estructurado y metadatos de página de sitios web públicos proporcionados por el usuario, sujeto a la profundidad de rastreo, el límite de páginas y las reglas de exclusión configuradas. Es útil para investigadores de contenido, equipos de bases de conocimiento y equipos de operaciones de datos.

Los datos se recopilan de sitios web públicos proporcionados por el usuario. Esta plantilla no está vinculada a un único sitio web de origen. Comienza desde las URL de los sitios web públicos proporcionados por el usuario y extrae el contenido de la página dentro del alcance de rastreo configurado.

💰 Precios

Actualmente, esta plantilla es gratuita y no tiene una tarifa de uso por línea. Aún pueden aplicarse los límites del plan o de los recursos de Octoparse.

📦 Salida

La implementación publicada actualmente puede devolver los siguientes campos:

• msg_type
• content
• url
• title
• author
• published_at
• format
• error_message

{
  "msg_type": null,
  "content": "{\"text\": \"Eighty feet below the streets of Manhattan...\"}",
  "url": "https://www.bloomberg.com/opinion/articles/...",
  "title": "Why Is Germany Sitting on $599 Billion of Gold?",
  "author": "Chris Bryant",
  "published_at": "2026-01-29",
  "format": "json",
  "error_message": null
}

🎯 Casos de uso

• Crear archivos de contenido utilizando la URL de la página, el título, el autor y la fecha de publicación.
• Preparar el contenido del sitio web para un análisis posterior utilizando el formato seleccionado.
• Rastrear secciones delimitadas del sitio utilizando controles de profundidad, límite de páginas y exclusión.
• Auditar páginas inaccesibles utilizando los campos de URL y mensaje de error.

🐙 ¿Por qué Octoparse?

• Flujo de trabajo listo para usar: Los pasos de extracción para los sitios web públicos proporcionados por el usuario ya están configurados, por lo que no necesita construir el scraper desde cero.
• Ejecución flexible: Ejecute la tarea predefinida en la nube sin necesidad de mantener un ordenador local en línea para la recopilación.
• Salida estructurada y repetible: Los resultados se devuelven como filas consistentes que son más fáciles de comparar, filtrar, deduplicar y procesar que las páginas copiadas manualmente.
• Barandillas de entrada verificadas: El formulario expone las entradas actuales, los valores seleccionables y los límites significativos configurados para esta plantilla.
• Transferencia de datos práctica: Revise los resultados en Octoparse y expórtelos o procéselos utilizando las opciones compatibles con su entorno de Octoparse.

📝 Entrada

Complete los siguientes campos:

• URL del sitio web (Obligatorio) — Ingrese la URL o las URL de los sitios web públicos donde debe comenzar el rastreo. Hasta 10,000 entradas por ejecución.
• Profundidad máxima de rastreo (Opcional) — Establezca cuántos niveles de enlace puede seguir el rastreador desde cada URL de inicio. Déjelo en blanco para usar una profundidad de rastreo de 0. Rango aceptado: 0 a 5.
• Máximo de páginas por URL (Opcional) — Establezca el número máximo de páginas a recopilar para cada URL de inicio. Déjelo en blanco para usar 10 páginas. Rango aceptado: 1 a 1000.
• Formato (Opcional)
• Exclude_Glob (Opcional) — Ingrese un patrón glob para las URL o rutas que deben ser excluidas del rastreo.
• Output_Field_Name (Opcional)

🚀 Cómo usar

1. Abra la plantilla y seleccione Probar o Iniciar.
2. Complete los campos de entrada mencionados anteriormente.
3. Inicie la tarea utilizando el modo de ejecución en la nube compatible.
4. Revise las filas de salida y exporte o procese los datos estructurados.

⚠️ Limitaciones

Los resultados dependen de lo que el sitio de origen exponga en tiempo de ejecución. Un campo de salida listado puede estar vacío cuando la página de origen no proporciona ese valor. Los límites de entrada mostrados anteriormente son aplicados por la plantilla.

💡 Consejos

Use entradas específicas y válidas y revise un resultado representativo antes de iniciar un lote grande. Elimine las entradas duplicadas cuando no se necesiten registros repetidos.

❓ Preguntas frecuentes

¿Cómo recopila Octoparse datos de los sitios web públicos proporcionados por el usuario?

La automatización de Python comienza desde cada URL de sitio web enviada, sigue los enlaces elegibles dentro de la profundidad y el límite de páginas configurados, excluye los enlaces que coinciden con el glob proporcionado, transforma el contenido de la página al formato seleccionado y carga un registro por cada página procesada.

¿Qué entrada requiere este Scraper de Contenido Universal?

Utilice los campos y los valores aceptados que se muestran en la sección de Entrada. Solo se enumeran los límites relevantes para el usuario y las opciones seleccionables.

¿Qué datos puedo extraer de los sitios web públicos proporcionados por el usuario?

Los campos de salida actuales y una Prevista de datos JSON representativa se enumeran en la sección de Salida. La disponibilidad de los campos puede variar cuando la página de origen no muestra un valor.

¿Es gratuito el uso de este Scraper de Contenido Universal?

Actualmente es gratuito y no tiene una tarifa de uso por línea. Aún pueden aplicarse los límites del plan o de los recursos de Octoparse.

¿Por qué algunos campos de los sitios web públicos proporcionados por el usuario pueden estar vacíos?

Las páginas de origen no siempre exponen todos los valores para cada registro, y los diseños pueden variar según el artículo, el mercado o la respuesta actual del sitio. La plantilla devuelve un campo cuando la página actual lo proporciona.

¿Puedo exportar los datos recopilados de los sitios web públicos proporcionados por el usuario?

Puede revisar las filas estructuradas en Octoparse y exportarlas o procesarlas utilizando las opciones compatibles con su entorno de Octoparse.

🔗 Plantillas relacionadas

• AI Crawl — Use el alcance y los filtros guiados por IA cuando un sitio web requiera un rastreo de múltiples páginas más amplio.
• AI Scraper — Extraiga campos personalizados cuando ya se conozcan las URL exactas de la página de destino.
• Google Search Scraper — Use las URL de los resultados de búsqueda de Google para identificar sitios web o páginas públicas para la extracción de contenido.