Saltar al contenido

Web Scraper API de Capzy. Obtén contenido útil.

Obtén una página con una solicitud HTTP. Empieza con HTML, activa JavaScript si la página necesita un navegador y añade selectores para obtener campos estructurados.

Selecciona una solicitud de ejemplo

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

La solicitud más sencilla obtiene el contenido de la página. El renderizado y la extracción son opcionales.

Empieza con lo básico y añade lo necesario

Usa tu API key de Capzy como clientKey. Estas vistas previas solo cambian el código de ejemplo; ejecuta una solicitud real desde el playground del panel o desde tu aplicación.

  1. Obtén una API key

    Crea o copia una API key de Capzy en tu cuenta. Guárdala en una variable de entorno llamada CAPZY_API_KEY.

    Abrir tu cuenta
  2. Envía una URL

    Haz un POST a /scrape con clientKey y url. Define renderJs solo cuando necesites JavaScript. Añade extractionRules para devolver campos con nombre.

  3. Lee el estado antes del resultado

    Comprueba errorId y status. Una respuesta ready contiene result. Una respuesta processing contiene taskId, que puedes consultar con getTaskResult. La consulta devuelve los datos completados en solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Adapta la solicitud a la página

Solo clientKey y url son obligatorios. Añade una capacidad cada vez para ver su efecto en la salida y en el coste.

clientKey / urlObligatorio · cadenas
Tu API key de Capzy y la URL de destino completa, incluido https://. Lee los términos del sitio de destino y asegúrate de que tu uso está permitido.
renderJsOpcional · false por defecto
Usa un navegador para páginas que se rellenan con JavaScript. Con el renderizado activado, waitForSelector puede esperar al contenido que necesitas.
extractionRulesOpcional · objeto
Pon nombre a cada campo y asígnale un selector CSS, por ejemplo {"title":"h1"}. Lee los datos extraídos en result.extracted.data.
aspOpcional · false por defecto
Activa el complemento de gestión anti-bot cuando el destino lo requiera. La compatibilidad depende de la protección del sitio; no se garantiza un resultado exitoso.
proxyPool / proxyCountryOpcional · salida
Elige datacenter o residencial y, si hace falta, un código de país de dos letras. Seleccionar solo un país no cambia el pool a residencial.
formatOpcional · raw, text, markdown
Elige el formato de contenido que necesita tu aplicación. Consulta la referencia completa para capturas, escenarios de navegador, sesiones y caché.

Encuentra tus datos en la respuesta

El envoltorio de la respuesta incluye el estado y la información de errores. Esta es una respuesta ready ilustrativa del ejemplo de extracción.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Comprueba errorId y status. Una respuesta ready contiene result. Una respuesta processing contiene taskId, que puedes consultar con getTaskResult. La consulta devuelve los datos completados en solution.
result.extracted.datatitle
Asocia nombres de campo a selectores CSS. El ejemplo extrae el primer encabezado de example.com.

Precios

El tráfico de proxy se cobra por MB; el renderizado, la gestión anti-bot y la extracción tienen sus propios componentes. Las tarifas actuales aparecen abajo.

Cargando precios actuales…

El renderizado y la extracción se cobran cuando se solicitan. La gestión anti-bot tiene su propio coste cuando se usa. Revisa el coste devuelto y la referencia de precios completa para tu carga de trabajo.

Lo que conviene saber

¿Necesito Web Scraper API o Data API?

Usa Web Scraper API cuando tengas una URL y quieras controlar el renderizado o los selectores. Usa Data API cuando el endpoint de un sitio compatible ya devuelva los datos estructurados que necesitas.

¿Por qué están vacíos los campos extraídos?

Inspecciona el contenido devuelto y confirma que tus selectores coinciden con él. Si los campos solo aparecen después de ejecutarse JavaScript, activa renderJs y usa waitForSelector.

¿Y si la solicitud sigue en proceso?

La ruta /scrape espera un resultado hasta su plazo límite. Si devuelve status processing, consulta /getTaskResult con clientKey y taskId hasta que se complete. Gestiona el estado failed y errorId antes de leer result.

Prueba la solicitud con tu página.

Inspecciona los resultados y el coste en el playground antes de pasar a producción.

Abrir playground