Chuyển đến nội dung

Capzy Web Scraper API. Lấy nội dung hữu ích.

Tải một trang chỉ bằng một request HTTP. Bắt đầu với HTML, bật JavaScript khi trang cần trình duyệt, và thêm selector khi bạn muốn các trường có cấu trúc.

Chọn một request mẫu

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

Request nhỏ nhất tải nội dung trang. Render và trích xuất là tùy chọn.

Bắt đầu nhỏ, sau đó thêm những gì trang cần

Dùng API key Capzy của bạn làm clientKey. Các bản xem trước này chỉ thay đổi code mẫu; hãy chạy request thật từ playground trên bảng điều khiển hoặc từ ứng dụng của bạn.

  1. Nhận API key

    Tạo hoặc sao chép một API key Capzy trong tài khoản của bạn. Lưu nó trong biến môi trường tên CAPZY_API_KEY.

    Mở tài khoản của bạn
  2. Gửi một URL

    POST đến /scrape với clientKey và url. Chỉ đặt renderJs khi bạn cần JavaScript. Thêm extractionRules để trả về các trường có tên.

  3. Đọc trạng thái trước khi đọc kết quả

    Kiểm tra errorId và status. Phản hồi ready chứa result. Phản hồi processing chứa taskId, bạn có thể poll bằng getTaskResult. Khi poll, dữ liệu hoàn tất được trả về trong solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Xây dựng request xoay quanh trang

Chỉ clientKey và url là bắt buộc. Thêm từng tính năng một để thấy ảnh hưởng của nó đến đầu ra và chi phí.

clientKey / urlBắt buộc · chuỗi
API key Capzy của bạn và URL mục tiêu đầy đủ, bao gồm https://. Hãy đọc điều khoản của trang mục tiêu và đảm bảo việc sử dụng của bạn được cho phép.
renderJsKhông bắt buộc · mặc định false
Dùng trình duyệt cho các trang có nội dung do JavaScript tạo ra. Khi bật render, waitForSelector có thể chờ nội dung bạn cần.
extractionRulesKhông bắt buộc · object
Đặt tên cho từng trường và gán CSS selector, ví dụ {"title":"h1"}. Đọc dữ liệu đã trích xuất trong result.extracted.data.
aspKhông bắt buộc · mặc định false
Bật tiện ích xử lý anti-bot khi trang mục tiêu yêu cầu. Khả năng hỗ trợ phụ thuộc vào cơ chế bảo vệ của trang; kết quả thành công không được đảm bảo.
proxyPool / proxyCountryKhông bắt buộc · egress
Chọn datacenter hoặc residential, sau đó là mã quốc gia hai chữ cái khi cần. Chỉ chọn quốc gia sẽ không chuyển pool sang residential.
formatKhông bắt buộc · raw, text, markdown
Chọn định dạng nội dung ứng dụng của bạn cần. Xem tài liệu tham chiếu đầy đủ về ảnh chụp màn hình, kịch bản trình duyệt, phiên và cache.

Biết dữ liệu của bạn nằm ở đâu

Phong bì phản hồi chứa thông tin trạng thái và lỗi. Đây là phản hồi ready minh họa cho ví dụ trích xuất.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Kiểm tra errorId và status. Phản hồi ready chứa result. Phản hồi processing chứa taskId, bạn có thể poll bằng getTaskResult. Khi poll, dữ liệu hoàn tất được trả về trong solution.
result.extracted.datatitle
Ánh xạ tên trường với CSS selector. Ví dụ này trích xuất tiêu đề đầu tiên từ example.com.

Bảng giá

Lưu lượng proxy được tính phí theo MB; render, xử lý anti-bot và trích xuất có các thành phần phí riêng. Đơn giá hiện tại được hiển thị bên dưới.

Đang tải giá hiện tại…

Render và trích xuất được tính phí khi được yêu cầu. Xử lý anti-bot có chi phí riêng khi được sử dụng. Hãy xem chi phí được trả về và tài liệu tham chiếu giá đầy đủ cho khối lượng công việc của bạn.

Một vài điều cần biết

Tôi cần Web Scraper API hay Data API?

Dùng Web Scraper API khi bạn có một URL và muốn kiểm soát việc render hoặc selector. Dùng Data API khi endpoint của một trang web được hỗ trợ đã trả về dữ liệu có cấu trúc bạn cần.

Tại sao các trường trích xuất bị trống?

Kiểm tra nội dung được trả về và xác nhận selector của bạn khớp với nội dung đó. Nếu các trường chỉ xuất hiện sau khi JavaScript chạy, hãy bật renderJs và dùng waitForSelector.

Nếu request vẫn đang xử lý thì sao?

Route /scrape chờ kết quả cho đến thời hạn của nó. Nếu trả về status processing, hãy poll /getTaskResult bằng clientKey và taskId cho đến khi hoàn tất. Xử lý status failed và errorId trước khi đọc result.

Thử request với trang của bạn.

Dùng playground trên bảng điều khiển để kiểm tra đầu ra và chi phí trước khi đưa scraper vào production.

Mở playground