选择示例请求
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}最简单的请求只获取页面内容。渲染和提取均为可选。
从最小请求开始,按需添加功能
将你的 Capzy API 密钥用作 clientKey。这些预览只会更改示例代码;请在控制台演练场或你的应用中运行真实请求。
发送 URL
携带 clientKey 和 url POST 到 /scrape。仅在需要 JavaScript 时设置 renderJs。添加 extractionRules 即可返回命名字段。
先读取状态,再读取结果
检查 errorId 和 status。ready 响应包含 result。processing 响应包含 taskId,你可以用 getTaskResult 轮询。轮询会在 solution 中返回完成的数据。
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])根据页面配置请求
只有 clientKey 和 url 是必填的。每次添加一项功能,以便观察它对输出和费用的影响。
clientKey / url必填 · 字符串- 你的 Capzy API 密钥和完整的目标 URL(包括 https://)。请阅读目标网站的条款,并确保你的用途是被允许的。
renderJs可选 · 默认 false- 对由 JavaScript 填充内容的页面使用浏览器。启用渲染后,waitForSelector 可以等待你需要的内容出现。
extractionRules可选 · 对象- 为每个字段命名并指定一个 CSS 选择器,例如 {"title":"h1"}。在 result.extracted.data 中读取提取的数据。
asp可选 · 默认 false- 当目标网站需要时,启用反机器人处理附加功能。支持情况取决于网站的防护措施;不保证一定能获得成功结果。
proxyPool / proxyCountry可选 · 出口- 选择数据中心或住宅,需要时再指定两位国家代码。仅选择国家/地区不会将代理池切换为住宅。
format可选 · raw、text、markdown- 选择你的应用需要的内容格式。截图、浏览器场景、会话和缓存请参阅完整参考。
了解响应中的数据位置
响应封装包含状态和错误信息。以下是提取示例的 ready 响应示意。
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- 检查 errorId 和 status。ready 响应包含 result。processing 响应包含 taskId,你可以用 getTaskResult 轮询。轮询会在 solution 中返回完成的数据。
result.extracted.datatitle- 将字段名映射到 CSS 选择器。示例从 example.com 提取第一个标题。
价格
代理流量按 MB 计费;渲染、反机器人处理和提取各有单独的计费项。当前费率如下所示。
正在加载最新价格…
渲染和提取在请求时计费。反机器人处理在使用时单独计费。请查看返回的费用以及完整的价格参考,评估你的业务成本。
常见问题
我需要 Web Scraper API 还是 Data API?
当你有一个 URL,并希望控制渲染或选择器时,请使用 Web Scraper API。当某个受支持网站的端点已经返回你需要的结构化数据时,请使用 Data API。
为什么提取的字段为空?
检查返回的内容,确认你的选择器与之匹配。如果这些字段只在 JavaScript 执行后才出现,请启用 renderJs 并使用 waitForSelector。
如果请求仍在处理中怎么办?
/scrape 路由会在截止时间内等待结果。如果返回 status processing,请使用 clientKey 和 taskId 轮询 /getTaskResult,直到完成。读取 result 之前,请先处理 failed 状态和 errorId。
用你的页面测试请求。
上线前先在控制台调试工具中检查输出和费用。
