Przejdź do treści

Capzy Web Scraper API. Zdobądź użyteczne treści.

Pobierz stronę jednym żądaniem HTTP. Zacznij od HTML, włącz JavaScript, gdy strona wymaga przeglądarki, i dodaj selektory, gdy chcesz uporządkowanych pól.

Wybierz przykładowe żądanie

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

Najmniejsze żądanie pobiera treść strony. Renderowanie i ekstrakcja są opcjonalne.

Zacznij od małego, potem dodaj to, czego potrzebuje strona

Użyj klucza API Capzy jako clientKey. Te podglądy zmieniają tylko przykładowy kod. Prawdziwe żądanie uruchom z playgroundu w panelu lub ze swojej aplikacji.

  1. Zdobądź klucz API

    Utwórz lub skopiuj klucz API Capzy na swoim koncie. Przechowuj go w zmiennej środowiskowej o nazwie CAPZY_API_KEY.

    Otwórz swoje konto
  2. Wyślij URL

    Wyślij POST do /scrape z clientKey i url. Ustaw renderJs tylko wtedy, gdy potrzebujesz JavaScriptu. Dodaj extractionRules, aby zwracać nazwane pola.

  3. Sprawdź status przed wynikiem

    Sprawdź errorId i status. Odpowiedź ready zawiera result. Odpowiedź processing zawiera taskId, który możesz odpytywać przez getTaskResult. Odpytywanie zwraca gotowe dane w solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Zbuduj żądanie wokół strony

Wymagane są tylko clientKey i url. Dodawaj po jednej funkcji naraz, aby widzieć jej wpływ na wynik i koszt.

clientKey / urlWymagane · ciągi znaków
Twój klucz API Capzy i pełny docelowy URL, łącznie z https://. Zapoznaj się z regulaminem strony docelowej i upewnij się, że Twoje użycie jest dozwolone.
renderJsOpcjonalnie · domyślnie false
Użyj przeglądarki dla stron wypełnianych przez JavaScript. Przy włączonym renderowaniu waitForSelector może poczekać na potrzebną treść.
extractionRulesOpcjonalnie · obiekt
Nazwij każde pole i przypisz mu selektor CSS, na przykład {"title":"h1"}. Wyodrębnione dane odczytasz w result.extracted.data.
aspOpcjonalnie · domyślnie false
Włącz dodatek obsługi zabezpieczeń anty-bot, gdy wymaga tego strona docelowa. Skuteczność zależy od ochrony strony, a udany wynik nie jest gwarantowany.
proxyPool / proxyCountryOpcjonalnie · wyjście
Wybierz centrum danych lub rezydencjalne, a w razie potrzeby dwuliterowy kod kraju. Sam wybór kraju nie przełącza puli na rezydencjalną.
formatOpcjonalnie · raw, text, markdown
Wybierz format treści, którego potrzebuje Twoja aplikacja. Zrzuty ekranu, scenariusze przeglądarki, sesje i cache opisuje pełna dokumentacja.

Wiedz, gdzie trafiają Twoje dane

Koperta odpowiedzi zawiera status i informacje o błędach. To poglądowa odpowiedź ready dla przykładu ekstrakcji.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Sprawdź errorId i status. Odpowiedź ready zawiera result. Odpowiedź processing zawiera taskId, który możesz odpytywać przez getTaskResult. Odpytywanie zwraca gotowe dane w solution.
result.extracted.datatitle
Przypisz nazwy pól do selektorów CSS. Przykład wyodrębnia pierwszy nagłówek z example.com.

Cennik

Ruch proxy jest rozliczany za MB, a renderowanie, obsługa anty-bot i ekstrakcja mają własne składniki ceny. Aktualne stawki pokazano poniżej.

Ładowanie aktualnych cen…

Renderowanie i ekstrakcja są płatne, gdy o nie poprosisz. Obsługa anty-bot ma własny koszt, gdy jest używana. Sprawdź zwrócony koszt i pełny cennik dla swojego obciążenia.

Kilka rzeczy, które warto wiedzieć

Potrzebuję Web Scraper API czy Data API?

Użyj Web Scraper API, gdy masz URL i chcesz kontrolować renderowanie lub selektory. Użyj Data API, gdy endpoint obsługiwanej strony już zwraca potrzebne Ci uporządkowane dane.

Dlaczego wyodrębnione pola są puste?

Sprawdź zwróconą treść i upewnij się, że Twoje selektory do niej pasują. Jeśli pola pojawiają się dopiero po wykonaniu JavaScriptu, włącz renderJs i użyj waitForSelector.

Co jeśli żądanie jest nadal przetwarzane?

Trasa /scrape czeka na wynik do swojego limitu czasu. Jeśli zwróci status processing, odpytuj /getTaskResult z clientKey i taskId, aż zadanie się zakończy. Obsłuż status failed i errorId przed odczytaniem result.

Wypróbuj żądanie na swojej stronie.

Użyj playgroundu w panelu, aby sprawdzić wynik i koszt, zanim wdrożysz scraper na produkcję.

Otwórz playground