Capzy Web Scraper API. Ottieni contenuti utili.
Recupera una pagina con una sola richiesta HTTP. Inizia con l'HTML, attiva JavaScript quando la pagina ha bisogno di un browser e aggiungi selettori quando vuoi campi strutturati.
Seleziona una richiesta di esempio
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}La richiesta minima recupera il contenuto della pagina. Rendering ed estrazione sono facoltativi.
Inizia in piccolo, poi aggiungi ciò che serve alla pagina
Usa la tua chiave API Capzy come clientKey. Queste anteprime modificano solo il codice di esempio; esegui una richiesta reale dal playground della dashboard o dalla tua applicazione.
Ottieni una chiave API
Crea o copia una chiave API Capzy nel tuo account. Conservala in una variabile d'ambiente chiamata CAPZY_API_KEY.
Apri il tuo accountInvia un URL
Invia in POST a /scrape con clientKey e url. Imposta renderJs solo quando ti serve JavaScript. Aggiungi extractionRules per restituire campi con nome.
Leggi lo stato prima del risultato
Controlla errorId e status. Una risposta ready contiene result. Una risposta processing contiene taskId, che puoi interrogare con getTaskResult. L'interrogazione restituisce i dati completati in solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Costruisci la richiesta in base alla pagina
Sono obbligatori solo clientKey e url. Aggiungi una funzionalità alla volta, così puoi vederne l'effetto sull'output e sul costo.
clientKey / urlObbligatori · stringhe- La tua chiave API Capzy e l'URL completo di destinazione, incluso https://. Leggi i termini del sito di destinazione e assicurati che il tuo utilizzo sia consentito.
renderJsFacoltativo · predefinito false- Usa un browser per le pagine popolate da JavaScript. Con il rendering attivo, waitForSelector può attendere il contenuto che ti serve.
extractionRulesFacoltativo · oggetto- Dai un nome a ogni campo e assegnagli un selettore CSS, ad esempio {"title":"h1"}. Leggi i dati estratti in result.extracted.data.
aspFacoltativo · predefinito false- Attiva il componente aggiuntivo di gestione anti-bot quando il target lo richiede. Il supporto dipende dalla protezione del sito; un risultato positivo non è garantito.
proxyPool / proxyCountryFacoltativo · uscita- Scegli datacenter o residenziale, poi un codice paese di due lettere se necessario. Selezionare solo un paese non fa passare il pool a residenziale.
formatFacoltativo · raw, text, markdown- Scegli il formato di contenuto di cui ha bisogno la tua applicazione. Consulta il riferimento completo per screenshot, scenari del browser, sessioni e caching.
Sappi dove arrivano i tuoi dati
L'envelope della risposta contiene le informazioni su stato ed errori. Questa è una risposta ready illustrativa per l'esempio di estrazione.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Controlla errorId e status. Una risposta ready contiene result. Una risposta processing contiene taskId, che puoi interrogare con getTaskResult. L'interrogazione restituisce i dati completati in solution.
result.extracted.datatitle- Associa i nomi dei campi ai selettori CSS. L'esempio estrae il primo titolo da example.com.
Prezzi
Il traffico proxy viene addebitato per MB; rendering, gestione anti-bot ed estrazione hanno componenti di costo proprie. Le tariffe attuali sono indicate qui sotto.
Caricamento dei prezzi attuali…
Alcune cose da sapere
Mi serve la Web Scraper API o la Data API?
Usa la Web Scraper API quando hai un URL e vuoi controllare rendering o selettori. Usa la Data API quando l'endpoint di un sito supportato restituisce già i dati strutturati che ti servono.
Perché i campi estratti sono vuoti?
Esamina il contenuto restituito e verifica che i tuoi selettori corrispondano. Se i campi compaiono solo dopo l'esecuzione di JavaScript, attiva renderJs e usa waitForSelector.
E se la richiesta è ancora in elaborazione?
La route /scrape attende un risultato fino alla sua scadenza. Se restituisce status processing, interroga /getTaskResult con clientKey e taskId finché non viene completata. Gestisci lo stato failed ed errorId prima di leggere result.
Prova la richiesta sulla tua pagina.
Usa il playground della dashboard per esaminare output e costi prima di mettere in produzione uno scraper.
