Capzy Web Scraper API. Obtenha conteúdo útil.
Busque uma página com uma única requisição HTTP. Comece com HTML, ative o JavaScript quando a página precisar de um navegador e adicione seletores quando quiser campos estruturados.
Selecione uma requisição de exemplo
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}A requisição mais simples busca o conteúdo da página. Renderização e extração são opcionais.
Comece pequeno e depois adicione o que a página precisar
Use sua chave de API da Capzy como clientKey. Estas prévias apenas alteram o código de exemplo; execute uma requisição real no playground do painel ou na sua aplicação.
Obtenha uma chave de API
Crie ou copie uma chave de API da Capzy na sua conta. Guarde-a em uma variável de ambiente chamada CAPZY_API_KEY.
Abrir sua contaEnvie uma URL
Faça um POST para /scrape com clientKey e url. Defina renderJs apenas quando precisar de JavaScript. Adicione extractionRules para retornar campos nomeados.
Leia o status antes do resultado
Verifique errorId e status. Uma resposta ready contém result. Uma resposta processing contém taskId, que você pode consultar com getTaskResult. A consulta retorna os dados concluídos em solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Monte a requisição de acordo com a página
Somente clientKey e url são obrigatórios. Adicione um recurso por vez para ver o efeito dele na saída e no custo.
clientKey / urlObrigatório · strings- Sua chave de API da Capzy e a URL de destino completa, incluindo https://. Leia os termos do site de destino e certifique-se de que o seu uso é permitido.
renderJsOpcional · padrão false- Use um navegador para páginas preenchidas por JavaScript. Com a renderização ativada, waitForSelector pode aguardar o conteúdo de que você precisa.
extractionRulesOpcional · objeto- Dê um nome a cada campo e atribua a ele um seletor CSS, por exemplo {"title":"h1"}. Leia os dados extraídos em result.extracted.data.
aspOpcional · padrão false- Ative o complemento de tratamento de anti-bot quando o destino exigir. O suporte depende da proteção do site; um resultado bem-sucedido não é garantido.
proxyPool / proxyCountryOpcional · saída- Escolha datacenter ou residencial e, se necessário, um código de país de duas letras. Selecionar apenas um país não muda o pool para residencial.
formatOpcional · raw, text, markdown- Escolha o formato de conteúdo de que a sua aplicação precisa. Consulte a referência completa para capturas de tela, cenários de navegador, sessões e cache.
Saiba onde seus dados chegam
O envelope da resposta traz as informações de status e de erro. Esta é uma resposta ready ilustrativa para o exemplo de extração.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Verifique errorId e status. Uma resposta ready contém result. Uma resposta processing contém taskId, que você pode consultar com getTaskResult. A consulta retorna os dados concluídos em solution.
result.extracted.datatitle- Associe nomes de campos a seletores CSS. O exemplo extrai o primeiro título de example.com.
Preços
O tráfego de proxy é cobrado por MB; renderização, tratamento de anti-bot e extração têm componentes próprios. As taxas atuais são exibidas abaixo.
Carregando preços atuais…
Algumas coisas para saber
Preciso da Web Scraper API ou da Data API?
Use a Web Scraper API quando você tiver uma URL e quiser controlar a renderização ou os seletores. Use a Data API quando o endpoint de um site suportado já retornar os dados estruturados de que você precisa.
Por que os campos extraídos estão vazios?
Examine o conteúdo retornado e confirme se os seus seletores correspondem a ele. Se os campos só aparecerem depois que o JavaScript for executado, ative renderJs e use waitForSelector.
E se a requisição ainda estiver em processamento?
A rota /scrape aguarda um resultado até o prazo dela. Se ela retornar status processing, consulte /getTaskResult usando clientKey e taskId até a conclusão. Trate o status failed e o errorId antes de ler result.
Teste a requisição na sua página.
Use o playground do painel para examinar a saída e o custo antes de colocar um scraper em produção.
