Capzy Web Scraper API. Dapatkan konten yang berguna.
Ambil halaman melalui satu permintaan HTTP. Mulai dengan HTML, aktifkan JavaScript saat halaman memerlukan browser, dan tambahkan selector saat Anda menginginkan field terstruktur.
Pilih contoh permintaan
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}Permintaan terkecil mengambil konten halaman. Rendering dan ekstraksi bersifat opsional.
Mulai dari yang kecil, lalu tambahkan yang dibutuhkan halaman
Gunakan API key Capzy Anda sebagai clientKey. Pratinjau ini hanya mengubah contoh kode; jalankan permintaan sungguhan dari playground dasbor atau aplikasi Anda.
Dapatkan API key
Buat atau salin API key Capzy di akun Anda. Simpan di environment variable bernama CAPZY_API_KEY.
Buka akun AndaKirim URL
POST ke /scrape dengan clientKey dan url. Atur renderJs hanya jika Anda memerlukan JavaScript. Tambahkan extractionRules untuk mengembalikan field bernama.
Baca status sebelum hasil
Periksa errorId dan status. Respons ready berisi result. Respons processing berisi taskId, yang dapat Anda poll dengan getTaskResult. Polling mengembalikan data yang sudah selesai di solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Susun permintaan sesuai halaman
Hanya clientKey dan url yang wajib. Tambahkan satu kemampuan setiap kali agar Anda dapat melihat pengaruhnya terhadap output dan biaya.
clientKey / urlWajib · string- API key Capzy Anda dan URL target lengkap, termasuk https://. Baca ketentuan situs target dan pastikan penggunaan Anda diizinkan.
renderJsOpsional · default false- Gunakan browser untuk halaman yang diisi oleh JavaScript. Dengan rendering aktif, waitForSelector dapat menunggu konten yang Anda butuhkan.
extractionRulesOpsional · objek- Beri nama setiap field dan berikan selector CSS, misalnya {"title":"h1"}. Baca data hasil ekstraksi di result.extracted.data.
aspOpsional · default false- Aktifkan add-on penanganan anti-bot saat target memerlukannya. Dukungan bergantung pada proteksi situs; hasil yang berhasil tidak dijamin.
proxyPool / proxyCountryOpsional · egress- Pilih datacenter atau residential, lalu kode negara dua huruf jika diperlukan. Memilih negara saja tidak mengubah pool menjadi residential.
formatOpsional · raw, text, markdown- Pilih format konten yang dibutuhkan aplikasi Anda. Gunakan referensi lengkap untuk screenshot, skenario browser, sesi, dan caching.
Ketahui di mana data Anda berada
Envelope respons membawa informasi status dan error. Ini adalah contoh ilustrasi respons ready untuk contoh ekstraksi.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Periksa errorId dan status. Respons ready berisi result. Respons processing berisi taskId, yang dapat Anda poll dengan getTaskResult. Polling mengembalikan data yang sudah selesai di solution.
result.extracted.datatitle- Petakan nama field ke selector CSS. Contoh ini mengekstrak heading pertama dari example.com.
Harga
Traffic proxy dikenai biaya per MB; rendering, penanganan anti-bot, dan ekstraksi memiliki komponen biayanya sendiri. Tarif terkini ditampilkan di bawah.
Memuat harga terkini…
Beberapa hal yang perlu diketahui
Apakah saya memerlukan Web Scraper API atau Data API?
Gunakan Web Scraper API saat Anda memiliki URL dan ingin mengontrol rendering atau selector. Gunakan Data API saat endpoint situs yang didukung sudah mengembalikan data terstruktur yang Anda butuhkan.
Mengapa field hasil ekstraksi kosong?
Periksa konten yang dikembalikan dan pastikan selector Anda cocok dengannya. Jika field baru muncul setelah JavaScript dijalankan, aktifkan renderJs dan gunakan waitForSelector.
Bagaimana jika permintaan masih diproses?
Rute /scrape menunggu hasil hingga batas waktunya. Jika mengembalikan status processing, poll /getTaskResult menggunakan clientKey dan taskId hingga selesai. Tangani status failed dan errorId sebelum membaca result.
Coba permintaan pada halaman Anda.
Gunakan playground dasbor untuk memeriksa output dan biaya sebelum menjalankan scraper di produksi.
