Перейти к содержимому

Capzy Web Scraper API. Получайте полезный контент.

Загружайте страницу одним HTTP-запросом. Начните с HTML, включите JavaScript, если странице нужен браузер, и добавьте селекторы, если нужны структурированные поля.

Выберите пример запроса

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

Минимальный запрос загружает содержимое страницы. Рендеринг и извлечение необязательны.

Начните с малого, затем добавьте то, что нужно странице

Используйте API-ключ Capzy как clientKey. Эти превью меняют только пример кода; реальный запрос выполняйте в песочнице панели управления или в своём приложении.

  1. Получите API-ключ

    Создайте или скопируйте API-ключ Capzy в своём аккаунте. Храните его в переменной окружения CAPZY_API_KEY.

    Открыть аккаунт
  2. Отправьте URL

    Отправьте POST на /scrape с clientKey и url. Задавайте renderJs, только если нужен JavaScript. Добавьте extractionRules, чтобы получать именованные поля.

  3. Проверяйте статус перед результатом

    Проверьте errorId и status. Ответ ready содержит result. Ответ processing содержит taskId, который можно опрашивать через getTaskResult. При опросе готовые данные возвращаются в solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

Стройте запрос под страницу

Обязательны только clientKey и url. Добавляйте возможности по одной, чтобы видеть их влияние на результат и стоимость.

clientKey / urlОбязательно · строки
Ваш API-ключ Capzy и полный целевой URL, включая https://. Ознакомьтесь с условиями целевого сайта и убедитесь, что ваше использование разрешено.
renderJsНеобязательно · по умолчанию false
Используйте браузер для страниц, которые заполняются JavaScript. При включённом рендеринге waitForSelector может дождаться нужного контента.
extractionRulesНеобязательно · object
Задайте имя каждого поля и CSS-селектор для него, например {"title":"h1"}. Извлечённые данные читайте в result.extracted.data.
aspНеобязательно · по умолчанию false
Включите дополнение для обхода антибот-защиты, если цель этого требует. Поддержка зависит от защиты сайта; успешный результат не гарантируется.
proxyPool / proxyCountryНеобязательно · исходящий трафик
Выберите дата-центр или резидентные, затем при необходимости двухбуквенный код страны. Выбор только страны не переключает пул на резидентный.
formatНеобязательно · raw, text, markdown
Выберите формат контента, нужный вашему приложению. Для скриншотов, браузерных сценариев, сессий и кеширования смотрите полный справочник.

Где окажутся ваши данные

Оболочка ответа содержит статус и информацию об ошибках. Это иллюстративный ответ ready для примера с извлечением.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
Проверьте errorId и status. Ответ ready содержит result. Ответ processing содержит taskId, который можно опрашивать через getTaskResult. При опросе готовые данные возвращаются в solution.
result.extracted.datatitle
Сопоставьте имена полей с CSS-селекторами. Пример извлекает первый заголовок с example.com.

Цены

Прокси-трафик оплачивается за MB; рендеринг, обход антибот-защиты и извлечение оплачиваются отдельно. Актуальные ставки указаны ниже.

Загрузка актуальных цен…

Рендеринг и извлечение оплачиваются, когда они запрошены. Обход антибот-защиты стоит отдельно, если используется. Проверяйте возвращаемую стоимость и полный справочник цен для своей нагрузки.

Что нужно знать

Что мне нужно: Web Scraper API или Data API?

Используйте Web Scraper API, если у вас есть URL и нужен контроль над рендерингом или селекторами. Используйте Data API, если эндпоинт поддерживаемого сайта уже возвращает нужные структурированные данные.

Почему извлечённые поля пустые?

Изучите возвращённый контент и убедитесь, что селекторы ему соответствуют. Если поля появляются только после выполнения JavaScript, включите renderJs и используйте waitForSelector.

Что делать, если запрос ещё обрабатывается?

Маршрут /scrape ждёт результата до своего крайнего срока. Если он вернул status processing, опрашивайте /getTaskResult с clientKey и taskId до завершения. Обработайте статус failed и errorId, прежде чем читать result.

Попробуйте запрос на своей странице.

Проверьте результат и стоимость в песочнице панели управления, прежде чем запускать парсер в production.

Открыть песочницу