Capzy Web Scraper API. İşe yarar içerik alın.
Bir sayfayı tek bir HTTP isteğiyle getirin. HTML ile başlayın, sayfa bir tarayıcı gerektirdiğinde JavaScript'i etkinleştirin ve yapılandırılmış alanlar istediğinizde seçiciler ekleyin.
Örnek bir istek seçin
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}En küçük istek sayfa içeriğini getirir. İşleme ve çıkarma isteğe bağlıdır.
Küçük başlayın, ardından sayfanın ihtiyacını ekleyin
Capzy API anahtarınızı clientKey olarak kullanın. Bu önizlemeler yalnızca örnek kodu değiştirir; gerçek bir isteği panel test alanından veya uygulamanızdan çalıştırın.
Bir API anahtarı alın
Hesabınızda bir Capzy API anahtarı oluşturun veya kopyalayın. CAPZY_API_KEY adlı bir ortam değişkeninde saklayın.
Hesabınızı açınBir URL gönderin
clientKey ve url ile /scrape adresine POST gönderin. renderJs'i yalnızca JavaScript gerektiğinde ayarlayın. Adlandırılmış alanlar döndürmek için extractionRules ekleyin.
Sonuçtan önce durumu okuyun
errorId ve status değerlerini kontrol edin. ready yanıtı result içerir. processing yanıtı, getTaskResult ile sorgulayabileceğiniz taskId içerir. Sorgulama, tamamlanan verileri solution içinde döndürür.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])İsteği sayfaya göre oluşturun
Yalnızca clientKey ve url zorunludur. Çıktı ve maliyet üzerindeki etkisini görebilmek için her seferinde bir özellik ekleyin.
clientKey / urlZorunlu · string- Capzy API anahtarınız ve https:// dahil tam hedef URL. Hedef sitenin şartlarını okuyun ve kullanımınızın izinli olduğundan emin olun.
renderJsİsteğe bağlı · varsayılan false- JavaScript ile doldurulan sayfalar için bir tarayıcı kullanın. İşleme etkinken waitForSelector ihtiyacınız olan içeriği bekleyebilir.
extractionRulesİsteğe bağlı · nesne- Her alana bir ad verin ve bir CSS seçici atayın, örneğin {"title":"h1"}. Çıkarılan verileri result.extracted.data içinden okuyun.
aspİsteğe bağlı · varsayılan false- Hedef gerektirdiğinde anti-bot işleme eklentisini etkinleştirin. Destek, sitenin korumasına bağlıdır; başarılı sonuç garanti edilmez.
proxyPool / proxyCountryİsteğe bağlı · çıkış- datacenter veya residential seçin, gerekirse ardından iki harfli bir ülke kodu belirtin. Yalnızca ülke seçmek havuzu residential'a geçirmez.
formatİsteğe bağlı · raw, text, markdown- Uygulamanızın ihtiyaç duyduğu içerik formatını seçin. Ekran görüntüleri, tarayıcı senaryoları, oturumlar ve önbellekleme için tam başvuruyu kullanın.
Verilerinizin nereye düştüğünü bilin
Yanıt zarfı durum ve hata bilgilerini taşır. Bu, çıkarma örneği için açıklayıcı bir ready yanıtıdır.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- errorId ve status değerlerini kontrol edin. ready yanıtı result içerir. processing yanıtı, getTaskResult ile sorgulayabileceğiniz taskId içerir. Sorgulama, tamamlanan verileri solution içinde döndürür.
result.extracted.datatitle- Alan adlarını CSS seçicilerle eşleyin. Örnek, example.com'daki ilk başlığı çıkarır.
Fiyatlandırma
Proxy trafiği MB başına ücretlendirilir; işleme, anti-bot işleme ve çıkarmanın kendi bileşenleri vardır. Güncel fiyatlar aşağıda gösterilir.
Güncel fiyatlar yükleniyor…
Bilmeniz gereken birkaç şey
Web Scraper API'ye mi yoksa Data API'ye mi ihtiyacım var?
Bir URL'niz olduğunda ve işleme veya seçiciler üzerinde kontrol istediğinizde Web Scraper API'yi kullanın. Desteklenen bir sitenin uç noktası ihtiyacınız olan yapılandırılmış verileri zaten döndürüyorsa Data API'yi kullanın.
Çıkarılan alanlar neden boş?
Dönen içeriği inceleyin ve seçicilerinizin onunla eşleştiğini doğrulayın. Alanlar yalnızca JavaScript çalıştıktan sonra görünüyorsa renderJs'i etkinleştirin ve waitForSelector kullanın.
İstek hâlâ işleniyorsa ne olur?
/scrape rotası, son süresine kadar bir sonuç bekler. processing durumu döndürürse, tamamlanana kadar clientKey ve taskId ile /getTaskResult'ı sorgulayın. result'ı okumadan önce failed durumunu ve errorId'yi ele alın.
İsteği kendi sayfanızda deneyin.
Bir kazıyıcıyı üretime almadan önce çıktıyı ve maliyeti incelemek için panel test alanını kullanın.
