Zum Inhalt springen

Capzy Web Scraper API. Nutzbare Inhalte abrufen.

Rufe eine Seite mit einer HTTP-Anfrage ab. Starte mit HTML, aktiviere JavaScript bei Bedarf und nutze Selektoren für strukturierte Felder.

Wähle eine Beispielanfrage

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

Die kleinste Anfrage ruft den Seiteninhalt ab. Rendering und Extraktion sind optional.

Klein anfangen, gezielt erweitern

Verwende deinen Capzy-API-Schlüssel als clientKey. Diese Vorschauen ändern nur den Beispielcode; führe eine echte Anfrage im Playground des Dashboards oder in deiner Anwendung aus.

  1. API-Schlüssel holen

    Erstelle oder kopiere einen Capzy-API-Schlüssel in deinem Konto. Speichere ihn in einer Umgebungsvariable namens CAPZY_API_KEY.

    Dein Konto öffnen
  2. URL senden

    Sende einen POST an /scrape mit clientKey und url. Setze renderJs nur, wenn du JavaScript brauchst. Füge extractionRules hinzu, um benannte Felder zurückzugeben.

  3. Erst den Status, dann das Ergebnis lesen

    Prüfe errorId und status. Eine Antwort mit ready enthält result. Eine Antwort mit processing enthält eine taskId, die du mit getTaskResult abfragen kannst. Die Abfrage liefert die fertigen Daten in solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Passe die Anfrage an die Seite an

Nur clientKey und url sind erforderlich. Füge jeweils eine Funktion hinzu, damit du ihre Wirkung auf Ausgabe und Kosten siehst.

clientKey / urlErforderlich · Strings
Dein Capzy-API-Schlüssel und die vollständige Ziel-URL inklusive https://. Lies die Bedingungen der Zielseite und stelle sicher, dass deine Nutzung erlaubt ist.
renderJsOptional · Standard false
Verwende einen Browser für Seiten, die per JavaScript befüllt werden. Bei aktiviertem Rendering kann waitForSelector auf die benötigten Inhalte warten.
extractionRulesOptional · Objekt
Gib jedem Feld einen Namen und einen CSS-Selektor, zum Beispiel {"title":"h1"}. Extrahierte Daten liest du in result.extracted.data.
aspOptional · Standard false
Aktiviere das Anti-Bot-Add-on, wenn das Ziel es erfordert. Die Unterstützung hängt vom Schutz der Website ab; ein erfolgreiches Ergebnis ist nicht garantiert.
proxyPool / proxyCountryOptional · Ausgang
Wähle datacenter oder residential und bei Bedarf einen zweistelligen Ländercode. Die Auswahl eines Landes allein schaltet den Pool nicht auf residential um.
formatOptional · raw, text, markdown
Wähle das Inhaltsformat, das deine Anwendung braucht. Für Screenshots, Browser-Szenarien, Sitzungen und Caching nutze die vollständige Referenz.

Finde deine Daten in der Antwort

Der Antwort-Umschlag enthält Status- und Fehlerinformationen. Dies ist eine beispielhafte ready-Antwort für das Extraktionsbeispiel.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Prüfe errorId und status. Eine Antwort mit ready enthält result. Eine Antwort mit processing enthält eine taskId, die du mit getTaskResult abfragen kannst. Die Abfrage liefert die fertigen Daten in solution.
result.extracted.datatitle
Ordne Feldnamen CSS-Selektoren zu. Das Beispiel extrahiert die erste Überschrift von example.com.

Preise

Proxy-Traffic wird pro MB berechnet; Rendering, Anti-Bot-Behandlung und Extraktion haben eigene Kostenbestandteile. Die aktuellen Preise siehst du unten.

Aktuelle Preise werden geladen…

Rendering und Extraktion werden berechnet, wenn sie angefordert werden. Die Anti-Bot-Behandlung hat bei Nutzung eigene Kosten. Prüfe die zurückgegebenen Kosten und die vollständige Preisreferenz für deine Workload.

Gut zu wissen

Brauche ich die Web Scraper API oder die Data API?

Verwende die Web Scraper API, wenn du eine URL hast und Rendering oder Selektoren selbst steuern willst. Verwende die Data API, wenn ein Endpunkt einer unterstützten Website bereits die strukturierten Daten liefert, die du brauchst.

Warum sind die extrahierten Felder leer?

Sieh dir den zurückgegebenen Inhalt an und prüfe, ob deine Selektoren dazu passen. Wenn die Felder erst nach dem Ausführen von JavaScript erscheinen, aktiviere renderJs und verwende waitForSelector.

Was, wenn die Anfrage noch bearbeitet wird?

Die Route /scrape wartet bis zu ihrer Frist auf ein Ergebnis. Liefert sie den Status processing, frage /getTaskResult mit clientKey und taskId ab, bis sie abgeschlossen ist. Behandle den Status failed und errorId, bevor du result liest.

Teste die Anfrage mit deiner Seite.

Prüfe Ausgabe und Kosten im Playground, bevor dein Scraper produktiv läuft.

Playground öffnen