Langsung ke konten

Capzy Web Scraper API. Dapatkan konten yang berguna.

Ambil halaman melalui satu permintaan HTTP. Mulai dengan HTML, aktifkan JavaScript saat halaman memerlukan browser, dan tambahkan selector saat Anda menginginkan field terstruktur.

Pilih contoh permintaan

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

Permintaan terkecil mengambil konten halaman. Rendering dan ekstraksi bersifat opsional.

Mulai dari yang kecil, lalu tambahkan yang dibutuhkan halaman

Gunakan API key Capzy Anda sebagai clientKey. Pratinjau ini hanya mengubah contoh kode; jalankan permintaan sungguhan dari playground dasbor atau aplikasi Anda.

  1. Dapatkan API key

    Buat atau salin API key Capzy di akun Anda. Simpan di environment variable bernama CAPZY_API_KEY.

    Buka akun Anda
  2. Kirim URL

    POST ke /scrape dengan clientKey dan url. Atur renderJs hanya jika Anda memerlukan JavaScript. Tambahkan extractionRules untuk mengembalikan field bernama.

  3. Baca status sebelum hasil

    Periksa errorId dan status. Respons ready berisi result. Respons processing berisi taskId, yang dapat Anda poll dengan getTaskResult. Polling mengembalikan data yang sudah selesai di solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Susun permintaan sesuai halaman

Hanya clientKey dan url yang wajib. Tambahkan satu kemampuan setiap kali agar Anda dapat melihat pengaruhnya terhadap output dan biaya.

clientKey / urlWajib · string
API key Capzy Anda dan URL target lengkap, termasuk https://. Baca ketentuan situs target dan pastikan penggunaan Anda diizinkan.
renderJsOpsional · default false
Gunakan browser untuk halaman yang diisi oleh JavaScript. Dengan rendering aktif, waitForSelector dapat menunggu konten yang Anda butuhkan.
extractionRulesOpsional · objek
Beri nama setiap field dan berikan selector CSS, misalnya {"title":"h1"}. Baca data hasil ekstraksi di result.extracted.data.
aspOpsional · default false
Aktifkan add-on penanganan anti-bot saat target memerlukannya. Dukungan bergantung pada proteksi situs; hasil yang berhasil tidak dijamin.
proxyPool / proxyCountryOpsional · egress
Pilih datacenter atau residential, lalu kode negara dua huruf jika diperlukan. Memilih negara saja tidak mengubah pool menjadi residential.
formatOpsional · raw, text, markdown
Pilih format konten yang dibutuhkan aplikasi Anda. Gunakan referensi lengkap untuk screenshot, skenario browser, sesi, dan caching.

Ketahui di mana data Anda berada

Envelope respons membawa informasi status dan error. Ini adalah contoh ilustrasi respons ready untuk contoh ekstraksi.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Periksa errorId dan status. Respons ready berisi result. Respons processing berisi taskId, yang dapat Anda poll dengan getTaskResult. Polling mengembalikan data yang sudah selesai di solution.
result.extracted.datatitle
Petakan nama field ke selector CSS. Contoh ini mengekstrak heading pertama dari example.com.

Harga

Traffic proxy dikenai biaya per MB; rendering, penanganan anti-bot, dan ekstraksi memiliki komponen biayanya sendiri. Tarif terkini ditampilkan di bawah.

Memuat harga terkini…

Rendering dan ekstraksi dikenai biaya saat diminta. Penanganan anti-bot memiliki biayanya sendiri saat digunakan. Tinjau biaya yang dikembalikan dan referensi harga lengkap untuk beban kerja Anda.

Beberapa hal yang perlu diketahui

Apakah saya memerlukan Web Scraper API atau Data API?

Gunakan Web Scraper API saat Anda memiliki URL dan ingin mengontrol rendering atau selector. Gunakan Data API saat endpoint situs yang didukung sudah mengembalikan data terstruktur yang Anda butuhkan.

Mengapa field hasil ekstraksi kosong?

Periksa konten yang dikembalikan dan pastikan selector Anda cocok dengannya. Jika field baru muncul setelah JavaScript dijalankan, aktifkan renderJs dan gunakan waitForSelector.

Bagaimana jika permintaan masih diproses?

Rute /scrape menunggu hasil hingga batas waktunya. Jika mengembalikan status processing, poll /getTaskResult menggunakan clientKey dan taskId hingga selesai. Tangani status failed dan errorId sebelum membaca result.

Coba permintaan pada halaman Anda.

Gunakan playground dasbor untuk memeriksa output dan biaya sebelum menjalankan scraper di produksi.

Buka playground