Web Scraper API de Capzy. Obtén contenido útil.
Obtén una página con una solicitud HTTP. Empieza con HTML, activa JavaScript si la página necesita un navegador y añade selectores para obtener campos estructurados.
Selecciona una solicitud de ejemplo
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}La solicitud más sencilla obtiene el contenido de la página. El renderizado y la extracción son opcionales.
Empieza con lo básico y añade lo necesario
Usa tu API key de Capzy como clientKey. Estas vistas previas solo cambian el código de ejemplo; ejecuta una solicitud real desde el playground del panel o desde tu aplicación.
Obtén una API key
Crea o copia una API key de Capzy en tu cuenta. Guárdala en una variable de entorno llamada CAPZY_API_KEY.
Abrir tu cuentaEnvía una URL
Haz un POST a /scrape con clientKey y url. Define renderJs solo cuando necesites JavaScript. Añade extractionRules para devolver campos con nombre.
Lee el estado antes del resultado
Comprueba errorId y status. Una respuesta ready contiene result. Una respuesta processing contiene taskId, que puedes consultar con getTaskResult. La consulta devuelve los datos completados en solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Adapta la solicitud a la página
Solo clientKey y url son obligatorios. Añade una capacidad cada vez para ver su efecto en la salida y en el coste.
clientKey / urlObligatorio · cadenas- Tu API key de Capzy y la URL de destino completa, incluido https://. Lee los términos del sitio de destino y asegúrate de que tu uso está permitido.
renderJsOpcional · false por defecto- Usa un navegador para páginas que se rellenan con JavaScript. Con el renderizado activado, waitForSelector puede esperar al contenido que necesitas.
extractionRulesOpcional · objeto- Pon nombre a cada campo y asígnale un selector CSS, por ejemplo {"title":"h1"}. Lee los datos extraídos en result.extracted.data.
aspOpcional · false por defecto- Activa el complemento de gestión anti-bot cuando el destino lo requiera. La compatibilidad depende de la protección del sitio; no se garantiza un resultado exitoso.
proxyPool / proxyCountryOpcional · salida- Elige datacenter o residencial y, si hace falta, un código de país de dos letras. Seleccionar solo un país no cambia el pool a residencial.
formatOpcional · raw, text, markdown- Elige el formato de contenido que necesita tu aplicación. Consulta la referencia completa para capturas, escenarios de navegador, sesiones y caché.
Encuentra tus datos en la respuesta
El envoltorio de la respuesta incluye el estado y la información de errores. Esta es una respuesta ready ilustrativa del ejemplo de extracción.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Comprueba errorId y status. Una respuesta ready contiene result. Una respuesta processing contiene taskId, que puedes consultar con getTaskResult. La consulta devuelve los datos completados en solution.
result.extracted.datatitle- Asocia nombres de campo a selectores CSS. El ejemplo extrae el primer encabezado de example.com.
Precios
El tráfico de proxy se cobra por MB; el renderizado, la gestión anti-bot y la extracción tienen sus propios componentes. Las tarifas actuales aparecen abajo.
Cargando precios actuales…
Lo que conviene saber
¿Necesito Web Scraper API o Data API?
Usa Web Scraper API cuando tengas una URL y quieras controlar el renderizado o los selectores. Usa Data API cuando el endpoint de un sitio compatible ya devuelva los datos estructurados que necesitas.
¿Por qué están vacíos los campos extraídos?
Inspecciona el contenido devuelto y confirma que tus selectores coinciden con él. Si los campos solo aparecen después de ejecutarse JavaScript, activa renderJs y usa waitForSelector.
¿Y si la solicitud sigue en proceso?
La ruta /scrape espera un resultado hasta su plazo límite. Si devuelve status processing, consulta /getTaskResult con clientKey y taskId hasta que se complete. Gestiona el estado failed y errorId antes de leer result.
Prueba la solicitud con tu página.
Inspecciona los resultados y el coste en el playground antes de pasar a producción.
