İçeriğe geç

Capzy Web Scraper API. İşe yarar içerik alın.

Bir sayfayı tek bir HTTP isteğiyle getirin. HTML ile başlayın, sayfa bir tarayıcı gerektirdiğinde JavaScript'i etkinleştirin ve yapılandırılmış alanlar istediğinizde seçiciler ekleyin.

Örnek bir istek seçin

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

En küçük istek sayfa içeriğini getirir. İşleme ve çıkarma isteğe bağlıdır.

Küçük başlayın, ardından sayfanın ihtiyacını ekleyin

Capzy API anahtarınızı clientKey olarak kullanın. Bu önizlemeler yalnızca örnek kodu değiştirir; gerçek bir isteği panel test alanından veya uygulamanızdan çalıştırın.

  1. Bir API anahtarı alın

    Hesabınızda bir Capzy API anahtarı oluşturun veya kopyalayın. CAPZY_API_KEY adlı bir ortam değişkeninde saklayın.

    Hesabınızı açın
  2. Bir URL gönderin

    clientKey ve url ile /scrape adresine POST gönderin. renderJs'i yalnızca JavaScript gerektiğinde ayarlayın. Adlandırılmış alanlar döndürmek için extractionRules ekleyin.

  3. Sonuçtan önce durumu okuyun

    errorId ve status değerlerini kontrol edin. ready yanıtı result içerir. processing yanıtı, getTaskResult ile sorgulayabileceğiniz taskId içerir. Sorgulama, tamamlanan verileri solution içinde döndürür.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

İsteği sayfaya göre oluşturun

Yalnızca clientKey ve url zorunludur. Çıktı ve maliyet üzerindeki etkisini görebilmek için her seferinde bir özellik ekleyin.

clientKey / urlZorunlu · string
Capzy API anahtarınız ve https:// dahil tam hedef URL. Hedef sitenin şartlarını okuyun ve kullanımınızın izinli olduğundan emin olun.
renderJsİsteğe bağlı · varsayılan false
JavaScript ile doldurulan sayfalar için bir tarayıcı kullanın. İşleme etkinken waitForSelector ihtiyacınız olan içeriği bekleyebilir.
extractionRulesİsteğe bağlı · nesne
Her alana bir ad verin ve bir CSS seçici atayın, örneğin {"title":"h1"}. Çıkarılan verileri result.extracted.data içinden okuyun.
aspİsteğe bağlı · varsayılan false
Hedef gerektirdiğinde anti-bot işleme eklentisini etkinleştirin. Destek, sitenin korumasına bağlıdır; başarılı sonuç garanti edilmez.
proxyPool / proxyCountryİsteğe bağlı · çıkış
datacenter veya residential seçin, gerekirse ardından iki harfli bir ülke kodu belirtin. Yalnızca ülke seçmek havuzu residential'a geçirmez.
formatİsteğe bağlı · raw, text, markdown
Uygulamanızın ihtiyaç duyduğu içerik formatını seçin. Ekran görüntüleri, tarayıcı senaryoları, oturumlar ve önbellekleme için tam başvuruyu kullanın.

Verilerinizin nereye düştüğünü bilin

Yanıt zarfı durum ve hata bilgilerini taşır. Bu, çıkarma örneği için açıklayıcı bir ready yanıtıdır.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
errorId ve status değerlerini kontrol edin. ready yanıtı result içerir. processing yanıtı, getTaskResult ile sorgulayabileceğiniz taskId içerir. Sorgulama, tamamlanan verileri solution içinde döndürür.
result.extracted.datatitle
Alan adlarını CSS seçicilerle eşleyin. Örnek, example.com'daki ilk başlığı çıkarır.

Fiyatlandırma

Proxy trafiği MB başına ücretlendirilir; işleme, anti-bot işleme ve çıkarmanın kendi bileşenleri vardır. Güncel fiyatlar aşağıda gösterilir.

Güncel fiyatlar yükleniyor…

İşleme ve çıkarma, talep edildiğinde ücretlendirilir. Anti-bot işlemenin kullanıldığında kendi maliyeti vardır. İş yükünüz için dönen maliyeti ve tam fiyat başvurusunu inceleyin.

Bilmeniz gereken birkaç şey

Web Scraper API'ye mi yoksa Data API'ye mi ihtiyacım var?

Bir URL'niz olduğunda ve işleme veya seçiciler üzerinde kontrol istediğinizde Web Scraper API'yi kullanın. Desteklenen bir sitenin uç noktası ihtiyacınız olan yapılandırılmış verileri zaten döndürüyorsa Data API'yi kullanın.

Çıkarılan alanlar neden boş?

Dönen içeriği inceleyin ve seçicilerinizin onunla eşleştiğini doğrulayın. Alanlar yalnızca JavaScript çalıştıktan sonra görünüyorsa renderJs'i etkinleştirin ve waitForSelector kullanın.

İstek hâlâ işleniyorsa ne olur?

/scrape rotası, son süresine kadar bir sonuç bekler. processing durumu döndürürse, tamamlanana kadar clientKey ve taskId ile /getTaskResult'ı sorgulayın. result'ı okumadan önce failed durumunu ve errorId'yi ele alın.

İsteği kendi sayfanızda deneyin.

Bir kazıyıcıyı üretime almadan önce çıktıyı ve maliyeti incelemek için panel test alanını kullanın.

Test alanını aç