Aller au contenu

Capzy Web Scraper API. Obtenez du contenu utile.

Récupérez une page en une seule requête HTTP. Commencez par le HTML, activez JavaScript quand la page a besoin d’un navigateur, et ajoutez des sélecteurs quand vous voulez des champs structurés.

Sélectionnez un exemple de requête

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

La requête la plus simple récupère le contenu de la page. Le rendu et l’extraction sont facultatifs.

Commencez simplement, puis ajoutez ce dont la page a besoin

Utilisez votre clé API Capzy comme clientKey. Ces aperçus ne modifient que l’exemple de code ; exécutez une vraie requête depuis le playground du tableau de bord ou votre application.

  1. Obtenez une clé API

    Créez ou copiez une clé API Capzy dans votre compte. Conservez-la dans une variable d’environnement nommée CAPZY_API_KEY.

    Ouvrir votre compte
  2. Envoyez une URL

    Envoyez un POST à /scrape avec clientKey et url. Définissez renderJs uniquement si vous avez besoin de JavaScript. Ajoutez extractionRules pour renvoyer des champs nommés.

  3. Lisez le statut avant le résultat

    Vérifiez errorId et status. Une réponse ready contient result. Une réponse processing contient taskId, que vous pouvez interroger avec getTaskResult. L’interrogation renvoie les données terminées dans solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Construisez la requête en fonction de la page

Seuls clientKey et url sont requis. Ajoutez une capacité à la fois pour voir son effet sur la sortie et le coût.

clientKey / urlRequis · chaînes
Votre clé API Capzy et l’URL cible complète, https:// compris. Lisez les conditions d’utilisation du site cible et assurez-vous que votre usage est autorisé.
renderJsFacultatif · false par défaut
Utilisez un navigateur pour les pages alimentées par JavaScript. Avec le rendu activé, waitForSelector peut attendre le contenu dont vous avez besoin.
extractionRulesFacultatif · objet
Nommez chaque champ et associez-lui un sélecteur CSS, par exemple {"title":"h1"}. Lisez les données extraites dans result.extracted.data.
aspFacultatif · false par défaut
Activez le module de gestion anti-bot lorsque la cible l’exige. La prise en charge dépend de la protection du site ; un résultat réussi n’est pas garanti.
proxyPool / proxyCountryFacultatif · sortie
Choisissez datacenter ou résidentiel, puis un code pays à deux lettres si nécessaire. Sélectionner uniquement un pays ne fait pas basculer le pool en résidentiel.
formatFacultatif · raw, text, markdown
Choisissez le format de contenu dont votre application a besoin. Consultez la référence complète pour les captures d’écran, les scénarios de navigateur, les sessions et la mise en cache.

Sachez où arrivent vos données

L’enveloppe de réponse contient le statut et les informations d’erreur. Voici un exemple illustratif de réponse ready pour l’exemple d’extraction.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Vérifiez errorId et status. Une réponse ready contient result. Une réponse processing contient taskId, que vous pouvez interroger avec getTaskResult. L’interrogation renvoie les données terminées dans solution.
result.extracted.datatitle
Associez des noms de champs à des sélecteurs CSS. L’exemple extrait le premier titre de example.com.

Tarifs

Le trafic proxy est facturé au MB ; le rendu, la gestion anti-bot et l’extraction ont leurs propres composantes. Les tarifs actuels sont indiqués ci-dessous.

Chargement des prix actuels…

Le rendu et l’extraction sont facturés lorsqu’ils sont demandés. La gestion anti-bot a son propre coût lorsqu’elle est utilisée. Vérifiez le coût renvoyé et la référence complète des tarifs pour votre charge de travail.

Quelques points à connaître

Ai-je besoin de la Web Scraper API ou de la Data API ?

Utilisez la Web Scraper API quand vous avez une URL et voulez contrôler le rendu ou les sélecteurs. Utilisez la Data API quand l’endpoint d’un site pris en charge renvoie déjà les données structurées dont vous avez besoin.

Pourquoi les champs extraits sont-ils vides ?

Examinez le contenu renvoyé et vérifiez que vos sélecteurs y correspondent. Si les champs n’apparaissent qu’après l’exécution du JavaScript, activez renderJs et utilisez waitForSelector.

Que faire si la requête est toujours en cours ?

La route /scrape attend un résultat jusqu’à son délai limite. Si elle renvoie le statut processing, interrogez /getTaskResult avec clientKey et taskId jusqu’à la fin. Gérez le statut failed et errorId avant de lire result.

Testez la requête sur votre page.

Utilisez le playground du tableau de bord pour examiner la sortie et le coût avant de mettre un scraper en production.

Ouvrir le playground