सामग्री पर जाएं

Capzy Web Scraper API. उपयोगी सामग्री पाएं।

एक HTTP अनुरोध से पेज लाएं। HTML से शुरू करें, जब पेज को ब्राउज़र चाहिए तो JavaScript चालू करें, और जब आपको संरचित फ़ील्ड चाहिए तो सेलेक्टर जोड़ें।

एक उदाहरण अनुरोध चुनें

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

सबसे छोटा अनुरोध पेज की सामग्री लाता है। रेंडरिंग और एक्सट्रैक्शन वैकल्पिक हैं।

छोटे से शुरू करें, फिर वह जोड़ें जो पेज को चाहिए

अपनी Capzy API कुंजी को clientKey के रूप में इस्तेमाल करें। ये प्रीव्यू केवल नमूना कोड बदलते हैं; असली अनुरोध डैशबोर्ड प्लेग्राउंड या अपने एप्लिकेशन से चलाएं।

  1. API कुंजी पाएं

    अपने खाते में एक Capzy API कुंजी बनाएं या कॉपी करें। इसे CAPZY_API_KEY नाम के एनवायरनमेंट वेरिएबल में रखें।

    अपना खाता खोलें
  2. एक URL भेजें

    clientKey और url के साथ /scrape पर POST करें। renderJs केवल तभी सेट करें जब आपको JavaScript चाहिए। नामित फ़ील्ड लौटाने के लिए extractionRules जोड़ें।

  3. नतीजे से पहले स्टेटस पढ़ें

    errorId और status जांचें। ready रिस्पॉन्स में result होता है। processing रिस्पॉन्स में taskId होता है, जिसे आप getTaskResult से पोल कर सकते हैं। पोलिंग पूरा डेटा solution में लौटाती है।

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

पेज के अनुसार अनुरोध बनाएं

केवल clientKey और url आवश्यक हैं। एक बार में एक क्षमता जोड़ें ताकि आप आउटपुट और लागत पर उसका असर देख सकें।

clientKey / urlआवश्यक · स्ट्रिंग
आपकी Capzy API कुंजी और https:// सहित पूरा टार्गेट URL। टार्गेट साइट की शर्तें पढ़ें और सुनिश्चित करें कि आपका उपयोग अनुमत है।
renderJsवैकल्पिक · डिफ़ॉल्ट false
JavaScript से भरे जाने वाले पेजों के लिए ब्राउज़र इस्तेमाल करें। रेंडरिंग चालू होने पर, waitForSelector आपकी ज़रूरत की सामग्री का इंतज़ार कर सकता है।
extractionRulesवैकल्पिक · ऑब्जेक्ट
हर फ़ील्ड को नाम दें और उसे एक CSS सेलेक्टर दें, उदाहरण के लिए {"title":"h1"}। निकाला गया डेटा result.extracted.data में पढ़ें।
aspवैकल्पिक · डिफ़ॉल्ट false
जब टार्गेट को ज़रूरत हो तो एंटी-बॉट हैंडलिंग ऐड-ऑन चालू करें। सपोर्ट साइट की सुरक्षा पर निर्भर करता है; सफल नतीजे की गारंटी नहीं है।
proxyPool / proxyCountryवैकल्पिक · इग्रेस
datacenter या residential चुनें, फिर ज़रूरत हो तो दो-अक्षर का देश कोड। केवल देश चुनने से पूल residential पर स्विच नहीं होता।
formatवैकल्पिक · raw, text, markdown
अपने एप्लिकेशन की ज़रूरत का सामग्री फ़ॉर्मेट चुनें। स्क्रीनशॉट, ब्राउज़र परिदृश्य, सेशन और कैशिंग के लिए पूरा संदर्भ देखें।

जानें कि आपका डेटा कहां आता है

रिस्पॉन्स एनवेलप में स्टेटस और त्रुटि की जानकारी होती है। यह एक्सट्रैक्शन उदाहरण के लिए एक उदाहरणात्मक ready रिस्पॉन्स है।

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
errorId और status जांचें। ready रिस्पॉन्स में result होता है। processing रिस्पॉन्स में taskId होता है, जिसे आप getTaskResult से पोल कर सकते हैं। पोलिंग पूरा डेटा solution में लौटाती है।
result.extracted.datatitle
फ़ील्ड नामों को CSS सेलेक्टर से मैप करें। उदाहरण example.com से पहला हेडिंग निकालता है।

मूल्य निर्धारण

प्रॉक्सी ट्रैफ़िक का शुल्क MB के हिसाब से लगता है; रेंडरिंग, एंटी-बॉट हैंडलिंग और एक्सट्रैक्शन के अपने अलग घटक हैं। मौजूदा दरें नीचे दिखाई गई हैं।

मौजूदा कीमतें लोड हो रही हैं…

रेंडरिंग और एक्सट्रैक्शन का शुल्क अनुरोध करने पर लगता है। एंटी-बॉट हैंडलिंग का इस्तेमाल होने पर उसकी अपनी लागत है। अपने वर्कलोड के लिए लौटाई गई लागत और पूरा मूल्य संदर्भ देखें।

जानने योग्य कुछ बातें

मुझे Web Scraper API चाहिए या Data API?

जब आपके पास एक URL हो और आप रेंडरिंग या सेलेक्टर पर नियंत्रण चाहते हों तो Web Scraper API इस्तेमाल करें। जब किसी समर्थित साइट का एंडपॉइंट पहले से आपकी ज़रूरत का संरचित डेटा लौटाता हो तो Data API इस्तेमाल करें।

निकाले गए फ़ील्ड खाली क्यों हैं?

लौटाई गई सामग्री देखें और पुष्टि करें कि आपके सेलेक्टर उससे मेल खाते हैं। अगर फ़ील्ड JavaScript चलने के बाद ही दिखते हैं, तो renderJs चालू करें और waitForSelector इस्तेमाल करें।

अगर अनुरोध अभी भी प्रोसेस हो रहा हो तो?

/scrape रूट अपनी समय-सीमा तक नतीजे का इंतज़ार करता है। अगर यह status processing लौटाता है, तो पूरा होने तक clientKey और taskId से /getTaskResult पोल करें। result पढ़ने से पहले failed status और errorId संभालें।

अनुरोध को अपने पेज पर आज़माएं।

स्क्रैपर को प्रोडक्शन में लगाने से पहले आउटपुट और लागत देखने के लिए डैशबोर्ड प्लेग्राउंड इस्तेमाल करें।

प्लेग्राउंड खोलें