跳到主要内容

Capzy Web Scraper API. 获取有用内容。

通过一次 HTTP 请求获取页面。从 HTML 开始,需要浏览器时启用 JavaScript,再通过选择器提取结构化字段。

选择示例请求

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

最简单的请求只获取页面内容。渲染和提取均为可选。

从最小请求开始,按需添加功能

将你的 Capzy API 密钥用作 clientKey。这些预览只会更改示例代码;请在控制台演练场或你的应用中运行真实请求。

  1. 获取 API 密钥

    在你的账户中创建或复制一个 Capzy API 密钥,并将其保存在名为 CAPZY_API_KEY 的环境变量中。

    打开你的账户
  2. 发送 URL

    携带 clientKey 和 url POST 到 /scrape。仅在需要 JavaScript 时设置 renderJs。添加 extractionRules 即可返回命名字段。

  3. 先读取状态,再读取结果

    检查 errorId 和 status。ready 响应包含 result。processing 响应包含 taskId,你可以用 getTaskResult 轮询。轮询会在 solution 中返回完成的数据。

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

根据页面配置请求

只有 clientKey 和 url 是必填的。每次添加一项功能,以便观察它对输出和费用的影响。

clientKey / url必填 · 字符串
你的 Capzy API 密钥和完整的目标 URL(包括 https://)。请阅读目标网站的条款,并确保你的用途是被允许的。
renderJs可选 · 默认 false
对由 JavaScript 填充内容的页面使用浏览器。启用渲染后,waitForSelector 可以等待你需要的内容出现。
extractionRules可选 · 对象
为每个字段命名并指定一个 CSS 选择器,例如 {"title":"h1"}。在 result.extracted.data 中读取提取的数据。
asp可选 · 默认 false
当目标网站需要时,启用反机器人处理附加功能。支持情况取决于网站的防护措施;不保证一定能获得成功结果。
proxyPool / proxyCountry可选 · 出口
选择数据中心或住宅,需要时再指定两位国家代码。仅选择国家/地区不会将代理池切换为住宅。
format可选 · raw、text、markdown
选择你的应用需要的内容格式。截图、浏览器场景、会话和缓存请参阅完整参考。

了解响应中的数据位置

响应封装包含状态和错误信息。以下是提取示例的 ready 响应示意。

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
检查 errorId 和 status。ready 响应包含 result。processing 响应包含 taskId,你可以用 getTaskResult 轮询。轮询会在 solution 中返回完成的数据。
result.extracted.datatitle
将字段名映射到 CSS 选择器。示例从 example.com 提取第一个标题。

价格

代理流量按 MB 计费;渲染、反机器人处理和提取各有单独的计费项。当前费率如下所示。

正在加载最新价格…

渲染和提取在请求时计费。反机器人处理在使用时单独计费。请查看返回的费用以及完整的价格参考,评估你的业务成本。

常见问题

我需要 Web Scraper API 还是 Data API?

当你有一个 URL,并希望控制渲染或选择器时,请使用 Web Scraper API。当某个受支持网站的端点已经返回你需要的结构化数据时,请使用 Data API。

为什么提取的字段为空?

检查返回的内容,确认你的选择器与之匹配。如果这些字段只在 JavaScript 执行后才出现,请启用 renderJs 并使用 waitForSelector。

如果请求仍在处理中怎么办?

/scrape 路由会在截止时间内等待结果。如果返回 status processing,请使用 clientKey 和 taskId 轮询 /getTaskResult,直到完成。读取 result 之前,请先处理 failed 状态和 errorId。

用你的页面测试请求。

上线前先在控制台调试工具中检查输出和费用。

打开调试工具