انتقل إلى المحتوى

Capzy Web Scraper API. احصل على محتوى مفيد.

اجلب صفحة عبر طلب HTTP واحد. ابدأ بـ HTML، وفعّل JavaScript عندما تحتاج الصفحة إلى متصفح، وأضف المحددات عندما تريد حقولًا منظّمة.

اختر مثالًا على الطلب

POST /scrape
{
  "clientKey": "YOUR_CAPZY_API_KEY",
  "url": "https://example.com"
}

أبسط طلب يجلب محتوى الصفحة. العرض والاستخراج اختياريان.

ابدأ صغيرًا، ثم أضف ما تحتاجه الصفحة

استخدم مفتاح Capzy API كقيمة clientKey. تغيّر هذه المعاينات شيفرة المثال فقط؛ شغّل طلبًا حقيقيًا من بيئة التجربة في لوحة التحكم أو من تطبيقك.

  1. احصل على مفتاح API

    أنشئ مفتاح Capzy API أو انسخه من حسابك. احتفظ به في متغير بيئة باسم CAPZY_API_KEY.

    افتح حسابك
  2. أرسل عنوان URL

    أرسل طلب POST إلى /scrape مع clientKey وurl. عيّن renderJs فقط عندما تحتاج إلى JavaScript. أضف extractionRules لإرجاع حقول مسمّاة.

  3. اقرأ الحالة قبل النتيجة

    تحقّق من errorId وstatus. تحتوي الاستجابة بحالة ready على result. وتحتوي الاستجابة بحالة processing على taskId، الذي يمكنك الاستعلام عنه عبر getTaskResult. يُرجع الاستعلام البيانات المكتملة في solution.

scrape.py
# Install: pip install requests
import os
import time
import requests

api = "https://api.capzy.ai"
key = os.environ["CAPZY_API_KEY"]
response = requests.post(api + "/scrape", json={
    "clientKey": key,
    "url": "https://example.com",
}, timeout=120)
response.raise_for_status()
data = response.json()
task_id = data.get("taskId")

# /scrape may return a task still processing after its wait deadline.
deadline = time.monotonic() + 120
while data.get("status") == "processing" and not data.get("errorId"):
    if time.monotonic() >= deadline:
        raise TimeoutError("Scrape is still processing")
    time.sleep(2)
    response = requests.post(api + "/getTaskResult", json={
        "clientKey": key, "taskId": task_id,
    }, timeout=30)
    response.raise_for_status()
    data = response.json()
    if data.get("solution") is not None:
        data["result"] = data["solution"]

if data.get("errorId") or data.get("status") != "ready":
    raise RuntimeError(data)
print(data["result"]["content"])

ابنِ الطلب حول الصفحة

فقط clientKey وurl مطلوبان. أضف إمكانية واحدة في كل مرة لترى تأثيرها في المخرجات والتكلفة.

clientKey / urlمطلوب · سلاسل نصية
مفتاح Capzy API وعنوان URL المستهدف الكامل، بما في ذلك https://. اقرأ شروط الموقع المستهدف وتأكد من أن استخدامك مسموح به.
renderJsاختياري · الافتراضي false
استخدم متصفحًا للصفحات التي تُملأ بواسطة JavaScript. مع تفعيل العرض، يمكن لـ waitForSelector انتظار المحتوى الذي تحتاجه.
extractionRulesاختياري · كائن
سمِّ كل حقل وأعطه محدد CSS، مثل {"title":"h1"}. اقرأ البيانات المستخرجة في result.extracted.data.
aspاختياري · الافتراضي false
فعّل إضافة التعامل مع الحماية من الروبوتات عندما يتطلبها الهدف. يعتمد الدعم على حماية الموقع؛ والنتيجة الناجحة غير مضمونة.
proxyPool / proxyCountryاختياري · الخروج
اختر مركز بيانات أو سكني، ثم رمز دولة من حرفين عند الحاجة. اختيار دولة وحده لا يحوّل المجموعة إلى سكنية.
formatاختياري · raw أو text أو markdown
اختر تنسيق المحتوى الذي يحتاجه تطبيقك. استخدم المرجع الكامل للقطات الشاشة وسيناريوهات المتصفح والجلسات والتخزين المؤقت.

اعرف أين تصل بياناتك

يحمل غلاف الاستجابة معلومات الحالة والأخطاء. هذه استجابة توضيحية بحالة ready لمثال الاستخراج.

response.example.json
{
  "errorId": 0,
  "status": "ready",
  "result": {
    "extracted": {
      "data": {
        "title": "Example Domain"
      }
    }
  }
}
errorId0
تحقّق من errorId وstatus. تحتوي الاستجابة بحالة ready على result. وتحتوي الاستجابة بحالة processing على taskId، الذي يمكنك الاستعلام عنه عبر getTaskResult. يُرجع الاستعلام البيانات المكتملة في solution.
result.extracted.datatitle
اربط أسماء الحقول بمحددات CSS. يستخرج المثال العنوان الرئيسي الأول من example.com.

الأسعار

تُحتسب حركة البروكسي حسب MB؛ وللعرض والتعامل مع الحماية من الروبوتات والاستخراج مكوّناتها الخاصة. الأسعار الحالية معروضة أدناه.

جارٍ تحميل الأسعار الحالية…

يُحتسب العرض والاستخراج عند طلبهما. وللتعامل مع الحماية من الروبوتات تكلفته الخاصة عند استخدامه. راجع التكلفة المُرجعة ومرجع الأسعار الكامل لعبء عملك.

أمور ينبغي معرفتها

هل أحتاج إلى Web Scraper API أم Data API؟

استخدم Web Scraper API عندما يكون لديك عنوان URL وتريد التحكم في العرض أو المحددات. واستخدم Data API عندما تُرجع نقطة نهاية لموقع مدعوم البيانات المنظّمة التي تحتاجها بالفعل.

لماذا الحقول المستخرجة فارغة؟

افحص المحتوى المُرجع وتأكد من أن محدداتك تطابقه. إذا كانت الحقول لا تظهر إلا بعد تنفيذ JavaScript، ففعّل renderJs واستخدم waitForSelector.

ماذا لو كان الطلب لا يزال قيد المعالجة؟

ينتظر المسار /scrape النتيجة حتى انتهاء مهلته. إذا أرجع الحالة processing، فاستعلم عبر /getTaskResult باستخدام clientKey وtaskId حتى يكتمل. تعامل مع حالة الفشل وerrorId قبل قراءة result.

جرّب الطلب على صفحتك.

استخدم بيئة التجربة في لوحة التحكم لفحص المخرجات والتكلفة قبل نقل أداة الاستخراج إلى الإنتاج.

افتح بيئة التجربة