Vai al contenuto

Capzy Web Scraper API. Ottieni contenuti utili.

Recupera una pagina con una sola richiesta HTTP. Inizia con l'HTML, attiva JavaScript quando la pagina ha bisogno di un browser e aggiungi selettori quando vuoi campi strutturati.

Seleziona una richiesta di esempio

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

La richiesta minima recupera il contenuto della pagina. Rendering ed estrazione sono facoltativi.

Inizia in piccolo, poi aggiungi ciò che serve alla pagina

Usa la tua chiave API Capzy come clientKey. Queste anteprime modificano solo il codice di esempio; esegui una richiesta reale dal playground della dashboard o dalla tua applicazione.

  1. Ottieni una chiave API

    Crea o copia una chiave API Capzy nel tuo account. Conservala in una variabile d'ambiente chiamata CAPZY_API_KEY.

    Apri il tuo account
  2. Invia un URL

    Invia in POST a /scrape con clientKey e url. Imposta renderJs solo quando ti serve JavaScript. Aggiungi extractionRules per restituire campi con nome.

  3. Leggi lo stato prima del risultato

    Controlla errorId e status. Una risposta ready contiene result. Una risposta processing contiene taskId, che puoi interrogare con getTaskResult. L'interrogazione restituisce i dati completati in solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Costruisci la richiesta in base alla pagina

Sono obbligatori solo clientKey e url. Aggiungi una funzionalità alla volta, così puoi vederne l'effetto sull'output e sul costo.

clientKey / urlObbligatori · stringhe
La tua chiave API Capzy e l'URL completo di destinazione, incluso https://. Leggi i termini del sito di destinazione e assicurati che il tuo utilizzo sia consentito.
renderJsFacoltativo · predefinito false
Usa un browser per le pagine popolate da JavaScript. Con il rendering attivo, waitForSelector può attendere il contenuto che ti serve.
extractionRulesFacoltativo · oggetto
Dai un nome a ogni campo e assegnagli un selettore CSS, ad esempio {"title":"h1"}. Leggi i dati estratti in result.extracted.data.
aspFacoltativo · predefinito false
Attiva il componente aggiuntivo di gestione anti-bot quando il target lo richiede. Il supporto dipende dalla protezione del sito; un risultato positivo non è garantito.
proxyPool / proxyCountryFacoltativo · uscita
Scegli datacenter o residenziale, poi un codice paese di due lettere se necessario. Selezionare solo un paese non fa passare il pool a residenziale.
formatFacoltativo · raw, text, markdown
Scegli il formato di contenuto di cui ha bisogno la tua applicazione. Consulta il riferimento completo per screenshot, scenari del browser, sessioni e caching.

Sappi dove arrivano i tuoi dati

L'envelope della risposta contiene le informazioni su stato ed errori. Questa è una risposta ready illustrativa per l'esempio di estrazione.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Controlla errorId e status. Una risposta ready contiene result. Una risposta processing contiene taskId, che puoi interrogare con getTaskResult. L'interrogazione restituisce i dati completati in solution.
result.extracted.datatitle
Associa i nomi dei campi ai selettori CSS. L'esempio estrae il primo titolo da example.com.

Prezzi

Il traffico proxy viene addebitato per MB; rendering, gestione anti-bot ed estrazione hanno componenti di costo proprie. Le tariffe attuali sono indicate qui sotto.

Caricamento dei prezzi attuali…

Rendering ed estrazione vengono addebitati quando richiesti. La gestione anti-bot ha un costo proprio quando viene usata. Controlla il costo restituito e il riferimento completo dei prezzi per il tuo carico di lavoro.

Alcune cose da sapere

Mi serve la Web Scraper API o la Data API?

Usa la Web Scraper API quando hai un URL e vuoi controllare rendering o selettori. Usa la Data API quando l'endpoint di un sito supportato restituisce già i dati strutturati che ti servono.

Perché i campi estratti sono vuoti?

Esamina il contenuto restituito e verifica che i tuoi selettori corrispondano. Se i campi compaiono solo dopo l'esecuzione di JavaScript, attiva renderJs e usa waitForSelector.

E se la richiesta è ancora in elaborazione?

La route /scrape attende un risultato fino alla sua scadenza. Se restituisce status processing, interroga /getTaskResult con clientKey e taskId finché non viene completata. Gestisci lo stato failed ed errorId prima di leggere result.

Prova la richiesta sulla tua pagina.

Usa il playground della dashboard per esaminare output e costi prima di mettere in produzione uno scraper.

Apri il playground