Capzy Web Scraper API. 役立つコンテンツを取得。
1回のHTTPリクエストでページを取得します。まずはHTMLから始め、ページにブラウザが必要な場合はJavaScriptを有効にし、構造化されたフィールドが必要な場合はセレクターを追加します。
リクエストの例を選択
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}最小のリクエストでページのコンテンツを取得します。レンダリングと抽出は任意です。
小さく始めて、ページに必要なものを追加
Capzy APIキーをclientKeyとして使用します。これらのプレビューはサンプルコードを切り替えるだけです。実際のリクエストは、ダッシュボードのプレイグラウンドかお客様のアプリケーションから実行してください。
URLを送信
clientKeyとurlを指定して /scrape にPOSTします。renderJsはJavaScriptが必要な場合にのみ設定します。名前付きのフィールドを返すにはextractionRulesを追加します。
結果の前にステータスを確認
errorIdとstatusを確認してください。readyのレスポンスにはresultが含まれます。processingのレスポンスにはtaskIdが含まれ、getTaskResultでポーリングできます。ポーリングでは、完了したデータがsolutionで返されます。
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])ページに合わせてリクエストを組み立てる
必須なのはclientKeyとurlだけです。出力と費用への影響を確認できるよう、機能は1つずつ追加してください。
clientKey / url必須 · 文字列- Capzy APIキーと、https:// を含む完全な対象URL。対象サイトの利用規約を確認し、利用が許可されていることを確かめてください。
renderJs任意 · デフォルトはfalse- JavaScriptでコンテンツが生成されるページにはブラウザを使用します。レンダリングを有効にすると、waitForSelectorで必要なコンテンツを待機できます。
extractionRules任意 · オブジェクト- 各フィールドに名前を付け、CSSセレクターを指定します(例:{"title":"h1"})。抽出されたデータは result.extracted.data で参照できます。
asp任意 · デフォルトはfalse- 対象サイトで必要な場合は、アンチボット対策のアドオンを有効にします。対応状況はサイトの保護方式によって異なり、成功する結果は保証されません。
proxyPool / proxyCountry任意 · 出口- datacenterまたはresidentialを選び、必要に応じて2文字の国コードを指定します。国を選択するだけでは、プールはresidentialに切り替わりません。
format任意 · raw、text、markdown- アプリケーションに必要なコンテンツの形式を選択します。スクリーンショット、ブラウザのシナリオ、セッション、キャッシュについては完全なリファレンスをご覧ください。
データの格納場所を把握する
レスポンスのエンベロープには、ステータスとエラーの情報が含まれます。これは抽出の例に対するreadyレスポンスの説明用サンプルです。
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- errorIdとstatusを確認してください。readyのレスポンスにはresultが含まれます。processingのレスポンスにはtaskIdが含まれ、getTaskResultでポーリングできます。ポーリングでは、完了したデータがsolutionで返されます。
result.extracted.datatitle- フィールド名をCSSセレクターに対応付けます。この例では、example.com から最初の見出しを抽出します。
料金
プロキシのトラフィックはMB単位で課金され、レンダリング、アンチボット対策、抽出にはそれぞれ別の料金があります。現在の料金は以下のとおりです。
最新の料金を読み込み中…
知っておきたいこと
Web Scraper APIとData API、どちらが必要ですか?
URLがあり、レンダリングやセレクターを細かく制御したい場合はWeb Scraper APIを使用します。対応サイトのエンドポイントがすでに必要な構造化データを返す場合はData APIを使用します。
抽出したフィールドが空なのはなぜですか?
返されたコンテンツを確認し、セレクターが一致していることを確かめてください。JavaScriptの実行後にのみフィールドが表示される場合は、renderJsを有効にしてwaitForSelectorを使用してください。
リクエストがまだ処理中の場合は?
/scrape ルートは期限まで結果を待ちます。statusがprocessingで返された場合は、clientKeyとtaskIdを使って完了するまで /getTaskResult をポーリングしてください。resultを読む前に、失敗のstatusとerrorIdを処理してください。
お使いのページでリクエストを試してみましょう。
スクレイパーを本番環境に導入する前に、ダッシュボードのプレイグラウンドで出力と費用を確認してください。
