Capzy Web Scraper API. Zdobądź użyteczne treści.
Pobierz stronę jednym żądaniem HTTP. Zacznij od HTML, włącz JavaScript, gdy strona wymaga przeglądarki, i dodaj selektory, gdy chcesz uporządkowanych pól.
Wybierz przykładowe żądanie
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}Najmniejsze żądanie pobiera treść strony. Renderowanie i ekstrakcja są opcjonalne.
Zacznij od małego, potem dodaj to, czego potrzebuje strona
Użyj klucza API Capzy jako clientKey. Te podglądy zmieniają tylko przykładowy kod. Prawdziwe żądanie uruchom z playgroundu w panelu lub ze swojej aplikacji.
Zdobądź klucz API
Utwórz lub skopiuj klucz API Capzy na swoim koncie. Przechowuj go w zmiennej środowiskowej o nazwie CAPZY_API_KEY.
Otwórz swoje kontoWyślij URL
Wyślij POST do /scrape z clientKey i url. Ustaw renderJs tylko wtedy, gdy potrzebujesz JavaScriptu. Dodaj extractionRules, aby zwracać nazwane pola.
Sprawdź status przed wynikiem
Sprawdź errorId i status. Odpowiedź ready zawiera result. Odpowiedź processing zawiera taskId, który możesz odpytywać przez getTaskResult. Odpytywanie zwraca gotowe dane w solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Zbuduj żądanie wokół strony
Wymagane są tylko clientKey i url. Dodawaj po jednej funkcji naraz, aby widzieć jej wpływ na wynik i koszt.
clientKey / urlWymagane · ciągi znaków- Twój klucz API Capzy i pełny docelowy URL, łącznie z https://. Zapoznaj się z regulaminem strony docelowej i upewnij się, że Twoje użycie jest dozwolone.
renderJsOpcjonalnie · domyślnie false- Użyj przeglądarki dla stron wypełnianych przez JavaScript. Przy włączonym renderowaniu waitForSelector może poczekać na potrzebną treść.
extractionRulesOpcjonalnie · obiekt- Nazwij każde pole i przypisz mu selektor CSS, na przykład {"title":"h1"}. Wyodrębnione dane odczytasz w result.extracted.data.
aspOpcjonalnie · domyślnie false- Włącz dodatek obsługi zabezpieczeń anty-bot, gdy wymaga tego strona docelowa. Skuteczność zależy od ochrony strony, a udany wynik nie jest gwarantowany.
proxyPool / proxyCountryOpcjonalnie · wyjście- Wybierz centrum danych lub rezydencjalne, a w razie potrzeby dwuliterowy kod kraju. Sam wybór kraju nie przełącza puli na rezydencjalną.
formatOpcjonalnie · raw, text, markdown- Wybierz format treści, którego potrzebuje Twoja aplikacja. Zrzuty ekranu, scenariusze przeglądarki, sesje i cache opisuje pełna dokumentacja.
Wiedz, gdzie trafiają Twoje dane
Koperta odpowiedzi zawiera status i informacje o błędach. To poglądowa odpowiedź ready dla przykładu ekstrakcji.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Sprawdź errorId i status. Odpowiedź ready zawiera result. Odpowiedź processing zawiera taskId, który możesz odpytywać przez getTaskResult. Odpytywanie zwraca gotowe dane w solution.
result.extracted.datatitle- Przypisz nazwy pól do selektorów CSS. Przykład wyodrębnia pierwszy nagłówek z example.com.
Cennik
Ruch proxy jest rozliczany za MB, a renderowanie, obsługa anty-bot i ekstrakcja mają własne składniki ceny. Aktualne stawki pokazano poniżej.
Ładowanie aktualnych cen…
Kilka rzeczy, które warto wiedzieć
Potrzebuję Web Scraper API czy Data API?
Użyj Web Scraper API, gdy masz URL i chcesz kontrolować renderowanie lub selektory. Użyj Data API, gdy endpoint obsługiwanej strony już zwraca potrzebne Ci uporządkowane dane.
Dlaczego wyodrębnione pola są puste?
Sprawdź zwróconą treść i upewnij się, że Twoje selektory do niej pasują. Jeśli pola pojawiają się dopiero po wykonaniu JavaScriptu, włącz renderJs i użyj waitForSelector.
Co jeśli żądanie jest nadal przetwarzane?
Trasa /scrape czeka na wynik do swojego limitu czasu. Jeśli zwróci status processing, odpytuj /getTaskResult z clientKey i taskId, aż zadanie się zakończy. Obsłuż status failed i errorId przed odczytaniem result.
Wypróbuj żądanie na swojej stronie.
Użyj playgroundu w panelu, aby sprawdzić wynik i koszt, zanim wdrożysz scraper na produkcję.
