Capzy Web Scraper API. Obtenez du contenu utile.
Récupérez une page en une seule requête HTTP. Commencez par le HTML, activez JavaScript quand la page a besoin d’un navigateur, et ajoutez des sélecteurs quand vous voulez des champs structurés.
Sélectionnez un exemple de requête
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}La requête la plus simple récupère le contenu de la page. Le rendu et l’extraction sont facultatifs.
Commencez simplement, puis ajoutez ce dont la page a besoin
Utilisez votre clé API Capzy comme clientKey. Ces aperçus ne modifient que l’exemple de code ; exécutez une vraie requête depuis le playground du tableau de bord ou votre application.
Obtenez une clé API
Créez ou copiez une clé API Capzy dans votre compte. Conservez-la dans une variable d’environnement nommée CAPZY_API_KEY.
Ouvrir votre compteEnvoyez une URL
Envoyez un POST à /scrape avec clientKey et url. Définissez renderJs uniquement si vous avez besoin de JavaScript. Ajoutez extractionRules pour renvoyer des champs nommés.
Lisez le statut avant le résultat
Vérifiez errorId et status. Une réponse ready contient result. Une réponse processing contient taskId, que vous pouvez interroger avec getTaskResult. L’interrogation renvoie les données terminées dans solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Construisez la requête en fonction de la page
Seuls clientKey et url sont requis. Ajoutez une capacité à la fois pour voir son effet sur la sortie et le coût.
clientKey / urlRequis · chaînes- Votre clé API Capzy et l’URL cible complète, https:// compris. Lisez les conditions d’utilisation du site cible et assurez-vous que votre usage est autorisé.
renderJsFacultatif · false par défaut- Utilisez un navigateur pour les pages alimentées par JavaScript. Avec le rendu activé, waitForSelector peut attendre le contenu dont vous avez besoin.
extractionRulesFacultatif · objet- Nommez chaque champ et associez-lui un sélecteur CSS, par exemple {"title":"h1"}. Lisez les données extraites dans result.extracted.data.
aspFacultatif · false par défaut- Activez le module de gestion anti-bot lorsque la cible l’exige. La prise en charge dépend de la protection du site ; un résultat réussi n’est pas garanti.
proxyPool / proxyCountryFacultatif · sortie- Choisissez datacenter ou résidentiel, puis un code pays à deux lettres si nécessaire. Sélectionner uniquement un pays ne fait pas basculer le pool en résidentiel.
formatFacultatif · raw, text, markdown- Choisissez le format de contenu dont votre application a besoin. Consultez la référence complète pour les captures d’écran, les scénarios de navigateur, les sessions et la mise en cache.
Sachez où arrivent vos données
L’enveloppe de réponse contient le statut et les informations d’erreur. Voici un exemple illustratif de réponse ready pour l’exemple d’extraction.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Vérifiez errorId et status. Une réponse ready contient result. Une réponse processing contient taskId, que vous pouvez interroger avec getTaskResult. L’interrogation renvoie les données terminées dans solution.
result.extracted.datatitle- Associez des noms de champs à des sélecteurs CSS. L’exemple extrait le premier titre de example.com.
Tarifs
Le trafic proxy est facturé au MB ; le rendu, la gestion anti-bot et l’extraction ont leurs propres composantes. Les tarifs actuels sont indiqués ci-dessous.
Chargement des prix actuels…
Quelques points à connaître
Ai-je besoin de la Web Scraper API ou de la Data API ?
Utilisez la Web Scraper API quand vous avez une URL et voulez contrôler le rendu ou les sélecteurs. Utilisez la Data API quand l’endpoint d’un site pris en charge renvoie déjà les données structurées dont vous avez besoin.
Pourquoi les champs extraits sont-ils vides ?
Examinez le contenu renvoyé et vérifiez que vos sélecteurs y correspondent. Si les champs n’apparaissent qu’après l’exécution du JavaScript, activez renderJs et utilisez waitForSelector.
Que faire si la requête est toujours en cours ?
La route /scrape attend un résultat jusqu’à son délai limite. Si elle renvoie le statut processing, interrogez /getTaskResult avec clientKey et taskId jusqu’à la fin. Gérez le statut failed et errorId avant de lire result.
Testez la requête sur votre page.
Utilisez le playground du tableau de bord pour examiner la sortie et le coût avant de mettre un scraper en production.
