본문으로 건너뛰기

Capzy Web Scraper API. 유용한 콘텐츠를 가져오세요.

HTTP 요청 한 번으로 페이지를 가져오세요. HTML로 시작하고, 페이지에 브라우저가 필요하면 JavaScript를 활성화하고, 구조화된 필드가 필요하면 선택자를 추가하세요.

예제 요청 선택

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

가장 간단한 요청은 페이지 콘텐츠를 가져옵니다. 렌더링과 추출은 선택 사항입니다.

작게 시작하고, 페이지에 필요한 것을 추가하세요

Capzy API 키를 clientKey로 사용하세요. 이 미리보기는 샘플 코드만 바꾸며, 실제 요청은 대시보드 플레이그라운드나 애플리케이션에서 실행하세요.

  1. API 키 받기

    계정에서 Capzy API 키를 만들거나 복사하세요. CAPZY_API_KEY라는 환경 변수에 보관하세요.

    계정 열기
  2. URL 보내기

    clientKey와 url을 /scrape에 POST하세요. JavaScript가 필요할 때만 renderJs를 설정하세요. 이름이 지정된 필드를 반환하려면 extractionRules를 추가하세요.

  3. 결과보다 상태를 먼저 확인

    errorId와 status를 확인하세요. ready 응답에는 result가 포함됩니다. processing 응답에는 taskId가 포함되며, getTaskResult로 폴링할 수 있습니다. 폴링하면 완료된 데이터가 solution으로 반환됩니다.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

페이지에 맞춰 요청 구성

clientKey와 url만 필수입니다. 기능을 하나씩 추가하면 출력과 비용에 미치는 영향을 확인할 수 있습니다.

clientKey / url필수 · 문자열
Capzy API 키와 https://를 포함한 전체 대상 URL입니다. 대상 사이트의 약관을 읽고 사용이 허용되는지 확인하세요.
renderJs선택 · 기본값 false
JavaScript로 채워지는 페이지에는 브라우저를 사용하세요. 렌더링을 활성화하면 waitForSelector로 필요한 콘텐츠를 기다릴 수 있습니다.
extractionRules선택 · 객체
각 필드에 이름을 지정하고 CSS 선택자를 부여하세요. 예: {"title":"h1"}. 추출된 데이터는 result.extracted.data에서 읽으세요.
asp선택 · 기본값 false
대상에 필요한 경우 안티봇 처리 애드온을 활성화하세요. 지원 여부는 사이트의 보호 방식에 따라 다르며, 성공적인 결과가 보장되지는 않습니다.
proxyPool / proxyCountry선택 · 이그레스
데이터센터 또는 주거용을 선택한 다음, 필요하면 두 글자 국가 코드를 지정하세요. 국가만 선택해서는 풀이 주거용으로 바뀌지 않습니다.
format선택 · raw, text, markdown
애플리케이션에 필요한 콘텐츠 형식을 선택하세요. 스크린샷, 브라우저 시나리오, 세션, 캐싱은 전체 레퍼런스를 참고하세요.

데이터가 어디에 담기는지 알아 두세요

응답 봉투에는 상태와 오류 정보가 담깁니다. 다음은 추출 예제의 설명용 ready 응답입니다.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
errorId와 status를 확인하세요. ready 응답에는 result가 포함됩니다. processing 응답에는 taskId가 포함되며, getTaskResult로 폴링할 수 있습니다. 폴링하면 완료된 데이터가 solution으로 반환됩니다.
result.extracted.datatitle
필드 이름을 CSS 선택자에 매핑하세요. 이 예제는 example.com에서 첫 번째 제목을 추출합니다.

요금

프록시 트래픽은 MB 단위로 청구되며, 렌더링, 안티봇 처리, 추출에는 각각 별도 요금이 있습니다. 현재 요금은 아래와 같습니다.

현재 가격 로드 중…

렌더링과 추출은 요청한 경우에 청구됩니다. 안티봇 처리는 사용 시 별도 비용이 있습니다. 반환된 비용과 전체 요금 레퍼런스를 워크로드에 맞게 검토하세요.

알아 두면 좋은 내용

Web Scraper API와 Data API 중 무엇이 필요한가요?

URL이 있고 렌더링이나 선택자를 직접 제어하고 싶다면 Web Scraper API를 사용하세요. 지원되는 사이트의 엔드포인트가 이미 필요한 구조화 데이터를 반환한다면 Data API를 사용하세요.

추출된 필드가 비어 있는 이유는 무엇인가요?

반환된 콘텐츠를 살펴보고 선택자가 일치하는지 확인하세요. JavaScript 실행 후에만 필드가 나타난다면 renderJs를 활성화하고 waitForSelector를 사용하세요.

요청이 아직 처리 중이라면 어떻게 하나요?

/scrape 경로는 마감 시간까지 결과를 기다립니다. status가 processing으로 반환되면 완료될 때까지 clientKey와 taskId로 /getTaskResult를 폴링하세요. result를 읽기 전에 failed 상태와 errorId를 처리하세요.

내 페이지에 요청을 시도해 보세요.

스크래퍼를 운영 환경에 투입하기 전에 대시보드 플레이그라운드에서 출력과 비용을 확인하세요.

플레이그라운드 열기