Pular para o conteúdo

Capzy Web Scraper API. Obtenha conteúdo útil.

Busque uma página com uma única requisição HTTP. Comece com HTML, ative o JavaScript quando a página precisar de um navegador e adicione seletores quando quiser campos estruturados.

Selecione uma requisição de exemplo

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

A requisição mais simples busca o conteúdo da página. Renderização e extração são opcionais.

Comece pequeno e depois adicione o que a página precisar

Use sua chave de API da Capzy como clientKey. Estas prévias apenas alteram o código de exemplo; execute uma requisição real no playground do painel ou na sua aplicação.

  1. Obtenha uma chave de API

    Crie ou copie uma chave de API da Capzy na sua conta. Guarde-a em uma variável de ambiente chamada CAPZY_API_KEY.

    Abrir sua conta
  2. Envie uma URL

    Faça um POST para /scrape com clientKey e url. Defina renderJs apenas quando precisar de JavaScript. Adicione extractionRules para retornar campos nomeados.

  3. Leia o status antes do resultado

    Verifique errorId e status. Uma resposta ready contém result. Uma resposta processing contém taskId, que você pode consultar com getTaskResult. A consulta retorna os dados concluídos em solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Monte a requisição de acordo com a página

Somente clientKey e url são obrigatórios. Adicione um recurso por vez para ver o efeito dele na saída e no custo.

clientKey / urlObrigatório · strings
Sua chave de API da Capzy e a URL de destino completa, incluindo https://. Leia os termos do site de destino e certifique-se de que o seu uso é permitido.
renderJsOpcional · padrão false
Use um navegador para páginas preenchidas por JavaScript. Com a renderização ativada, waitForSelector pode aguardar o conteúdo de que você precisa.
extractionRulesOpcional · objeto
Dê um nome a cada campo e atribua a ele um seletor CSS, por exemplo {"title":"h1"}. Leia os dados extraídos em result.extracted.data.
aspOpcional · padrão false
Ative o complemento de tratamento de anti-bot quando o destino exigir. O suporte depende da proteção do site; um resultado bem-sucedido não é garantido.
proxyPool / proxyCountryOpcional · saída
Escolha datacenter ou residencial e, se necessário, um código de país de duas letras. Selecionar apenas um país não muda o pool para residencial.
formatOpcional · raw, text, markdown
Escolha o formato de conteúdo de que a sua aplicação precisa. Consulte a referência completa para capturas de tela, cenários de navegador, sessões e cache.

Saiba onde seus dados chegam

O envelope da resposta traz as informações de status e de erro. Esta é uma resposta ready ilustrativa para o exemplo de extração.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Verifique errorId e status. Uma resposta ready contém result. Uma resposta processing contém taskId, que você pode consultar com getTaskResult. A consulta retorna os dados concluídos em solution.
result.extracted.datatitle
Associe nomes de campos a seletores CSS. O exemplo extrai o primeiro título de example.com.

Preços

O tráfego de proxy é cobrado por MB; renderização, tratamento de anti-bot e extração têm componentes próprios. As taxas atuais são exibidas abaixo.

Carregando preços atuais…

Renderização e extração são cobradas quando solicitadas. O tratamento de anti-bot tem custo próprio quando usado. Revise o custo retornado e a referência completa de preços para a sua carga de trabalho.

Algumas coisas para saber

Preciso da Web Scraper API ou da Data API?

Use a Web Scraper API quando você tiver uma URL e quiser controlar a renderização ou os seletores. Use a Data API quando o endpoint de um site suportado já retornar os dados estruturados de que você precisa.

Por que os campos extraídos estão vazios?

Examine o conteúdo retornado e confirme se os seus seletores correspondem a ele. Se os campos só aparecerem depois que o JavaScript for executado, ative renderJs e use waitForSelector.

E se a requisição ainda estiver em processamento?

A rota /scrape aguarda um resultado até o prazo dela. Se ela retornar status processing, consulte /getTaskResult usando clientKey e taskId até a conclusão. Trate o status failed e o errorId antes de ler result.

Teste a requisição na sua página.

Use o playground do painel para examinar a saída e o custo antes de colocar um scraper em produção.

Abrir playground