Capzy Web Scraper API. Nutzbare Inhalte abrufen.
Rufe eine Seite mit einer HTTP-Anfrage ab. Starte mit HTML, aktiviere JavaScript bei Bedarf und nutze Selektoren für strukturierte Felder.
Wähle eine Beispielanfrage
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}Die kleinste Anfrage ruft den Seiteninhalt ab. Rendering und Extraktion sind optional.
Klein anfangen, gezielt erweitern
Verwende deinen Capzy-API-Schlüssel als clientKey. Diese Vorschauen ändern nur den Beispielcode; führe eine echte Anfrage im Playground des Dashboards oder in deiner Anwendung aus.
API-Schlüssel holen
Erstelle oder kopiere einen Capzy-API-Schlüssel in deinem Konto. Speichere ihn in einer Umgebungsvariable namens CAPZY_API_KEY.
Dein Konto öffnenURL senden
Sende einen POST an /scrape mit clientKey und url. Setze renderJs nur, wenn du JavaScript brauchst. Füge extractionRules hinzu, um benannte Felder zurückzugeben.
Erst den Status, dann das Ergebnis lesen
Prüfe errorId und status. Eine Antwort mit ready enthält result. Eine Antwort mit processing enthält eine taskId, die du mit getTaskResult abfragen kannst. Die Abfrage liefert die fertigen Daten in solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Passe die Anfrage an die Seite an
Nur clientKey und url sind erforderlich. Füge jeweils eine Funktion hinzu, damit du ihre Wirkung auf Ausgabe und Kosten siehst.
clientKey / urlErforderlich · Strings- Dein Capzy-API-Schlüssel und die vollständige Ziel-URL inklusive https://. Lies die Bedingungen der Zielseite und stelle sicher, dass deine Nutzung erlaubt ist.
renderJsOptional · Standard false- Verwende einen Browser für Seiten, die per JavaScript befüllt werden. Bei aktiviertem Rendering kann waitForSelector auf die benötigten Inhalte warten.
extractionRulesOptional · Objekt- Gib jedem Feld einen Namen und einen CSS-Selektor, zum Beispiel {"title":"h1"}. Extrahierte Daten liest du in result.extracted.data.
aspOptional · Standard false- Aktiviere das Anti-Bot-Add-on, wenn das Ziel es erfordert. Die Unterstützung hängt vom Schutz der Website ab; ein erfolgreiches Ergebnis ist nicht garantiert.
proxyPool / proxyCountryOptional · Ausgang- Wähle datacenter oder residential und bei Bedarf einen zweistelligen Ländercode. Die Auswahl eines Landes allein schaltet den Pool nicht auf residential um.
formatOptional · raw, text, markdown- Wähle das Inhaltsformat, das deine Anwendung braucht. Für Screenshots, Browser-Szenarien, Sitzungen und Caching nutze die vollständige Referenz.
Finde deine Daten in der Antwort
Der Antwort-Umschlag enthält Status- und Fehlerinformationen. Dies ist eine beispielhafte ready-Antwort für das Extraktionsbeispiel.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Prüfe errorId und status. Eine Antwort mit ready enthält result. Eine Antwort mit processing enthält eine taskId, die du mit getTaskResult abfragen kannst. Die Abfrage liefert die fertigen Daten in solution.
result.extracted.datatitle- Ordne Feldnamen CSS-Selektoren zu. Das Beispiel extrahiert die erste Überschrift von example.com.
Preise
Proxy-Traffic wird pro MB berechnet; Rendering, Anti-Bot-Behandlung und Extraktion haben eigene Kostenbestandteile. Die aktuellen Preise siehst du unten.
Aktuelle Preise werden geladen…
Gut zu wissen
Brauche ich die Web Scraper API oder die Data API?
Verwende die Web Scraper API, wenn du eine URL hast und Rendering oder Selektoren selbst steuern willst. Verwende die Data API, wenn ein Endpunkt einer unterstützten Website bereits die strukturierten Daten liefert, die du brauchst.
Warum sind die extrahierten Felder leer?
Sieh dir den zurückgegebenen Inhalt an und prüfe, ob deine Selektoren dazu passen. Wenn die Felder erst nach dem Ausführen von JavaScript erscheinen, aktiviere renderJs und verwende waitForSelector.
Was, wenn die Anfrage noch bearbeitet wird?
Die Route /scrape wartet bis zu ihrer Frist auf ein Ergebnis. Liefert sie den Status processing, frage /getTaskResult mit clientKey und taskId ab, bis sie abgeschlossen ist. Behandle den Status failed und errorId, bevor du result liest.
Teste die Anfrage mit deiner Seite.
Prüfe Ausgabe und Kosten im Playground, bevor dein Scraper produktiv läuft.
