Naar inhoud springen

Capzy Web Scraper API. Haal bruikbare content op.

Haal een pagina op met één HTTP-verzoek. Begin met HTML, zet JavaScript aan als de pagina een browser nodig heeft en voeg selectors toe als je gestructureerde velden wilt.

Kies een voorbeeldverzoek

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

Het kleinste verzoek haalt de content van de pagina op. Renderen en extraheren zijn optioneel.

Begin klein en voeg toe wat de pagina nodig heeft

Gebruik je Capzy API-sleutel als clientKey. Deze voorbeelden wijzigen alleen de voorbeeldcode; voer een echt verzoek uit via de playground in het dashboard of vanuit je applicatie.

  1. Vraag een API-sleutel aan

    Maak of kopieer een Capzy API-sleutel in je account. Bewaar hem in een omgevingsvariabele met de naam CAPZY_API_KEY.

    Open je account
  2. Stuur een URL

    POST naar /scrape met clientKey en url. Stel renderJs alleen in als je JavaScript nodig hebt. Voeg extractionRules toe om benoemde velden terug te krijgen.

  3. Lees de status vóór het resultaat

    Controleer errorId en status. Een ready-antwoord bevat result. Een processing-antwoord bevat taskId, die je kunt pollen met getTaskResult. Polling levert de voltooide data op in solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Stem het verzoek af op de pagina

Alleen clientKey en url zijn verplicht. Voeg één mogelijkheid tegelijk toe, zodat je het effect op uitvoer en kosten ziet.

clientKey / urlVerplicht · strings
Je Capzy API-sleutel en de volledige doel-URL, inclusief https://. Lees de voorwaarden van de doelsite en zorg dat je gebruik is toegestaan.
renderJsOptioneel · standaard false
Gebruik een browser voor pagina's die met JavaScript worden gevuld. Met rendering ingeschakeld kan waitForSelector wachten op de content die je nodig hebt.
extractionRulesOptioneel · object
Geef elk veld een naam en een CSS-selector, bijvoorbeeld {"title":"h1"}. Lees geëxtraheerde data in result.extracted.data.
aspOptioneel · standaard false
Schakel de add-on voor anti-bot-afhandeling in als het doel dat vereist. De ondersteuning hangt af van de beveiliging van de site; een geslaagd resultaat is niet gegarandeerd.
proxyPool / proxyCountryOptioneel · egress
Kies datacenter of residential en daarna zo nodig een landcode van twee letters. Alleen een land kiezen zet de pool niet over op residential.
formatOptioneel · raw, text, markdown
Kies het contentformaat dat je applicatie nodig heeft. Gebruik de volledige referentie voor screenshots, browserscenario's, sessies en caching.

Weet waar je data terechtkomt

De envelope van het antwoord bevat status- en foutinformatie. Dit is een illustratief ready-antwoord voor het extractievoorbeeld.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Controleer errorId en status. Een ready-antwoord bevat result. Een processing-antwoord bevat taskId, die je kunt pollen met getTaskResult. Polling levert de voltooide data op in solution.
result.extracted.datatitle
Koppel veldnamen aan CSS-selectors. Het voorbeeld haalt de eerste kop van example.com op.

Prijzen

Proxyverkeer wordt per MB berekend; rendering, anti-bot-afhandeling en extractie hebben hun eigen componenten. De actuele tarieven staan hieronder.

Actuele prijzen laden…

Rendering en extractie worden berekend wanneer je ze aanvraagt. Anti-bot-afhandeling heeft eigen kosten wanneer die wordt gebruikt. Bekijk de teruggegeven kosten en de volledige prijsreferentie voor je workload.

Goed om te weten

Heb ik Web Scraper API of Data API nodig?

Gebruik Web Scraper API als je een URL hebt en controle wilt over rendering of selectors. Gebruik Data API als een endpoint van een ondersteunde site al de gestructureerde data levert die je nodig hebt.

Waarom zijn de geëxtraheerde velden leeg?

Bekijk de teruggegeven content en controleer of je selectors erop passen. Verschijnen de velden pas nadat JavaScript is uitgevoerd, zet dan renderJs aan en gebruik waitForSelector.

Wat als het verzoek nog wordt verwerkt?

De route /scrape wacht tot de deadline op een resultaat. Geeft hij status processing terug, poll dan /getTaskResult met clientKey en taskId totdat hij klaar is. Handel de status failed en errorId af voordat je result leest.

Probeer het verzoek op je eigen pagina.

Gebruik de playground in het dashboard om uitvoer en kosten te bekijken voordat je een scraper in productie neemt.

Playground openen