コンテンツへスキップ

Capzy Web Scraper API. 役立つコンテンツを取得。

1回のHTTPリクエストでページを取得します。まずはHTMLから始め、ページにブラウザが必要な場合はJavaScriptを有効にし、構造化されたフィールドが必要な場合はセレクターを追加します。

リクエストの例を選択

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

最小のリクエストでページのコンテンツを取得します。レンダリングと抽出は任意です。

小さく始めて、ページに必要なものを追加

Capzy APIキーをclientKeyとして使用します。これらのプレビューはサンプルコードを切り替えるだけです。実際のリクエストは、ダッシュボードのプレイグラウンドかお客様のアプリケーションから実行してください。

  1. APIキーを取得

    アカウントでCapzy APIキーを作成するかコピーします。CAPZY_API_KEYという環境変数に保存してください。

    アカウントを開く
  2. URLを送信

    clientKeyとurlを指定して /scrape にPOSTします。renderJsはJavaScriptが必要な場合にのみ設定します。名前付きのフィールドを返すにはextractionRulesを追加します。

  3. 結果の前にステータスを確認

    errorIdとstatusを確認してください。readyのレスポンスにはresultが含まれます。processingのレスポンスにはtaskIdが含まれ、getTaskResultでポーリングできます。ポーリングでは、完了したデータがsolutionで返されます。

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

ページに合わせてリクエストを組み立てる

必須なのはclientKeyとurlだけです。出力と費用への影響を確認できるよう、機能は1つずつ追加してください。

clientKey / url必須 · 文字列
Capzy APIキーと、https:// を含む完全な対象URL。対象サイトの利用規約を確認し、利用が許可されていることを確かめてください。
renderJs任意 · デフォルトはfalse
JavaScriptでコンテンツが生成されるページにはブラウザを使用します。レンダリングを有効にすると、waitForSelectorで必要なコンテンツを待機できます。
extractionRules任意 · オブジェクト
各フィールドに名前を付け、CSSセレクターを指定します(例:{"title":"h1"})。抽出されたデータは result.extracted.data で参照できます。
asp任意 · デフォルトはfalse
対象サイトで必要な場合は、アンチボット対策のアドオンを有効にします。対応状況はサイトの保護方式によって異なり、成功する結果は保証されません。
proxyPool / proxyCountry任意 · 出口
datacenterまたはresidentialを選び、必要に応じて2文字の国コードを指定します。国を選択するだけでは、プールはresidentialに切り替わりません。
format任意 · raw、text、markdown
アプリケーションに必要なコンテンツの形式を選択します。スクリーンショット、ブラウザのシナリオ、セッション、キャッシュについては完全なリファレンスをご覧ください。

データの格納場所を把握する

レスポンスのエンベロープには、ステータスとエラーの情報が含まれます。これは抽出の例に対するreadyレスポンスの説明用サンプルです。

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
errorIdとstatusを確認してください。readyのレスポンスにはresultが含まれます。processingのレスポンスにはtaskIdが含まれ、getTaskResultでポーリングできます。ポーリングでは、完了したデータがsolutionで返されます。
result.extracted.datatitle
フィールド名をCSSセレクターに対応付けます。この例では、example.com から最初の見出しを抽出します。

料金

プロキシのトラフィックはMB単位で課金され、レンダリング、アンチボット対策、抽出にはそれぞれ別の料金があります。現在の料金は以下のとおりです。

最新の料金を読み込み中…

レンダリングと抽出は、リクエストした場合に課金されます。アンチボット対策は、使用した場合に別途費用がかかります。返される費用と、ワークロードに応じた料金の完全なリファレンスをご確認ください。

知っておきたいこと

Web Scraper APIとData API、どちらが必要ですか?

URLがあり、レンダリングやセレクターを細かく制御したい場合はWeb Scraper APIを使用します。対応サイトのエンドポイントがすでに必要な構造化データを返す場合はData APIを使用します。

抽出したフィールドが空なのはなぜですか?

返されたコンテンツを確認し、セレクターが一致していることを確かめてください。JavaScriptの実行後にのみフィールドが表示される場合は、renderJsを有効にしてwaitForSelectorを使用してください。

リクエストがまだ処理中の場合は?

/scrape ルートは期限まで結果を待ちます。statusがprocessingで返された場合は、clientKeyとtaskIdを使って完了するまで /getTaskResult をポーリングしてください。resultを読む前に、失敗のstatusとerrorIdを処理してください。

お使いのページでリクエストを試してみましょう。

スクレイパーを本番環境に導入する前に、ダッシュボードのプレイグラウンドで出力と費用を確認してください。

プレイグラウンドを開く