Capzy Web Scraper API. Получайте полезный контент.
Загружайте страницу одним HTTP-запросом. Начните с HTML, включите JavaScript, если странице нужен браузер, и добавьте селекторы, если нужны структурированные поля.
Выберите пример запроса
{
"clientKey": "YOUR_CAPZY_API_KEY",
"url": "https://example.com"
}Минимальный запрос загружает содержимое страницы. Рендеринг и извлечение необязательны.
Начните с малого, затем добавьте то, что нужно странице
Используйте API-ключ Capzy как clientKey. Эти превью меняют только пример кода; реальный запрос выполняйте в песочнице панели управления или в своём приложении.
Получите API-ключ
Создайте или скопируйте API-ключ Capzy в своём аккаунте. Храните его в переменной окружения CAPZY_API_KEY.
Открыть аккаунтОтправьте URL
Отправьте POST на /scrape с clientKey и url. Задавайте renderJs, только если нужен JavaScript. Добавьте extractionRules, чтобы получать именованные поля.
Проверяйте статус перед результатом
Проверьте errorId и status. Ответ ready содержит result. Ответ processing содержит taskId, который можно опрашивать через getTaskResult. При опросе готовые данные возвращаются в solution.
# Install: pip install requests
import os
import time
import requests
api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
"clientKey": key,
"url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")
# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
if time.monotonic() >= deadline:
raise TimeoutError("Scrape is still processing")
time.sleep(2)
response = requests.post(api + "/getTaskResult", json={
"clientKey": key, "taskId": task_id,
}, timeout=30)
response.raise_for_status()
data = response.json()
if data.get("solution") is not None:
data["result"] = data["solution"]
if data.get("errorId") or data.get("status") != "ready":
raise RuntimeError(data)
print(data["result"]["content"])Стройте запрос под страницу
Обязательны только clientKey и url. Добавляйте возможности по одной, чтобы видеть их влияние на результат и стоимость.
clientKey / urlОбязательно · строки- Ваш API-ключ Capzy и полный целевой URL, включая https://. Ознакомьтесь с условиями целевого сайта и убедитесь, что ваше использование разрешено.
renderJsНеобязательно · по умолчанию false- Используйте браузер для страниц, которые заполняются JavaScript. При включённом рендеринге waitForSelector может дождаться нужного контента.
extractionRulesНеобязательно · object- Задайте имя каждого поля и CSS-селектор для него, например {"title":"h1"}. Извлечённые данные читайте в result.extracted.data.
aspНеобязательно · по умолчанию false- Включите дополнение для обхода антибот-защиты, если цель этого требует. Поддержка зависит от защиты сайта; успешный результат не гарантируется.
proxyPool / proxyCountryНеобязательно · исходящий трафик- Выберите дата-центр или резидентные, затем при необходимости двухбуквенный код страны. Выбор только страны не переключает пул на резидентный.
formatНеобязательно · raw, text, markdown- Выберите формат контента, нужный вашему приложению. Для скриншотов, браузерных сценариев, сессий и кеширования смотрите полный справочник.
Где окажутся ваши данные
Оболочка ответа содержит статус и информацию об ошибках. Это иллюстративный ответ ready для примера с извлечением.
{
"errorId": 0,
"status": "ready",
"result": {
"extracted": {
"data": {
"title": "Example Domain"
}
}
}
}errorId0- Проверьте errorId и status. Ответ ready содержит result. Ответ processing содержит taskId, который можно опрашивать через getTaskResult. При опросе готовые данные возвращаются в solution.
result.extracted.datatitle- Сопоставьте имена полей с CSS-селекторами. Пример извлекает первый заголовок с example.com.
Цены
Прокси-трафик оплачивается за MB; рендеринг, обход антибот-защиты и извлечение оплачиваются отдельно. Актуальные ставки указаны ниже.
Загрузка актуальных цен…
Что нужно знать
Что мне нужно: Web Scraper API или Data API?
Используйте Web Scraper API, если у вас есть URL и нужен контроль над рендерингом или селекторами. Используйте Data API, если эндпоинт поддерживаемого сайта уже возвращает нужные структурированные данные.
Почему извлечённые поля пустые?
Изучите возвращённый контент и убедитесь, что селекторы ему соответствуют. Если поля появляются только после выполнения JavaScript, включите renderJs и используйте waitForSelector.
Что делать, если запрос ещё обрабатывается?
Маршрут /scrape ждёт результата до своего крайнего срока. Если он вернул status processing, опрашивайте /getTaskResult с clientKey и taskId до завершения. Обработайте статус failed и errorId, прежде чем читать result.
Попробуйте запрос на своей странице.
Проверьте результат и стоимость в песочнице панели управления, прежде чем запускать парсер в production.
