# فحص robots.txt: أي زواحف ذكاء اصطناعي تستطيع قراءة موقعك؟

Canonical URL: https://luckpanda.app/ar/chatbot/tools/ai-crawler-checker
Language: ar
آخر تحديث: 14 أكتوبر 2026

أدخل عنوان موقعك. يقرأ الفاحص ملف robots.txt ووسوم robots في صفحتك، ويُريك لـ16 زاحفًا ووكيلًا من زواحف الذكاء الاصطناعي هل كل منها مسموح، أو ممنوع جزئيًا، أو ممنوع، وبأي قاعدة.

أداة مجانية: https://luckpanda.app/ar/chatbot/tools/ai-crawler-checker (analyzer, website)

Agents: run it over MCP (https://luckpanda.app/mcp) with chatbot_public_tool_run { "tool": "ai-crawler-checker", "lang": "ar", "inputs": { … } }; chatbot_public_tool_list gives the inputs.

## ماذا يفعل فحص robots.txt لزواحف الذكاء الاصطناعي

> هذا الفاحص يقرأ ملف robots.txt في موقعك ويخبرك أي زواحف ذكاء اصطناعي يُسمح لها بقراءة صفحاتك. يفحص 16 زاحفًا ووكيلًا من OpenAI وAnthropic وPerplexity وGoogle وApple وAmazon وDuckDuckGo وMeta وCommon Crawl وByteDance وLuckPanda. ويظهر كل منها «مسموح» أو «جزئيًا» أو «ممنوع»، مع قاعدة robots.txt التي حسمت ذلك. وينبّهك أيضًا إلى وسوم noai في صفحتك.

1. **أدخل عنوانك.** صفحتك الرئيسية، أو صفحة تهمك مثل المدونة أو صفحة الأسعار.
2. **يقرأ الفاحص ملفين.** ملف ‎/robots.txt، والصفحة نفسها لقراءة وسم robots الوصفي وترويسة X-Robots-Tag.
3. **اقرأ ختم كل زاحف.** الزواحف مجمّعة حسب وظيفتها: البحث بالذكاء الاصطناعي، وتدريب النماذج، وجلب الصفحات لسؤال مستخدم، وشات بوت المواقع.
4. **انظر إلى القاعدة المطابقة.** تحت كل زاحف ترى مجموعة User-agent التي تنطبق عليه، فتعرف أي الأسطر تعدّل.
5. **عدّل robots.txt وافحص مجددًا.** استخدم الأمثلة أدناه، وانشر الملف، وشغّل الفحص مرة أخرى للتأكد.

## البحث والتدريب وجلب الصفحات: ثلاثة أنواع من زواحف الذكاء الاصطناعي

معظم شركات الذكاء الاصطناعي تشغّل اليوم أكثر من زاحف، لكل منها رمز خاص في robots.txt. ومنع واحد لا يمنع الآخرين، ولهذا يهم الفرق.

**البحث بالذكاء الاصطناعي**
- يقرأ الصفحات ليعرضها منتج بحث ذكي ويضع روابطها في الإجابات.
- أمثلة: OAI-SearchBot وClaude-SearchBot وPerplexityBot.
- امنعه، فتتوقف صفحاتك عن الظهور في إجابات ذلك المنتج.

**تدريب النماذج**
- يجمع صفحات قد تُستخدم لتدريب نماذج ذكاء اصطناعي مستقبلية.
- أمثلة: GPTBot وClaudeBot وGoogle-Extended وCCBot.
- امنعه لتنسحب من الآن فصاعدًا. ولا يلغي ما جُمع سابقًا.

**جلب صفحة لسؤال مستخدم**
- يزور الصفحة حين يسأل شخص مساعدًا عنها أو يلصق رابطها.
- أمثلة: ChatGPT-User وClaude-User وPerplexity-User.
- بعض الشركات تقول إن robots.txt قد لا ينطبق على هذه، لأن شخصًا طلبها.

## كل زاحف يفحصه الفاحص

الرموز أدناه هي الأسماء التي توثّقها كل شركة لملف robots.txt. اكتبها كما هي تمامًا في سطر User-agent. والمطابقة لا تفرّق بين الأحرف الكبيرة والصغيرة.

| الشركة | الرمز في robots.txt | ماذا يفعل | المجموعة |
| --- | --- | --- | --- |
| OpenAI | OAI-SearchBot | يجد الصفحات ليعرضها ويربطها في نتائج البحث في ChatGPT. | بحث |
| OpenAI | ChatGPT-User | يزور الصفحة حين يطلبها مستخدم ChatGPT. | جلب لمستخدم |
| OpenAI | GPTBot | يجمع صفحات قد تُستخدم لتدريب نماذج OpenAI. | تدريب |
| Anthropic | Claude-SearchBot | يقرأ الصفحات لتحسين نتائج البحث في Claude. | بحث |
| Anthropic | Claude-User | يزور الصفحة حين يطلبها مستخدم Claude. | جلب لمستخدم |
| Anthropic | ClaudeBot | يجمع صفحات قد تُستخدم لتدريب نماذج Anthropic. | تدريب |
| Perplexity | PerplexityBot | يفهرس الصفحات لإجابات البحث في Perplexity. | بحث |
| Perplexity | Perplexity-User | يزور الصفحة حين يسأل عنها مستخدم Perplexity. | جلب لمستخدم |
| Google | Google-Extended | رمز تحكم لا زاحف مستقل: يحدد هل تُستخدم الصفحات التي يجمعها Googlebot لتدريب نماذج Gemini. ولا يتأثر بحث Google. | تدريب |
| Apple | Applebot-Extended | رمز تحكم لا زاحف مستقل: يحدد هل تُستخدم الصفحات التي يجمعها Applebot لتدريب نماذج Apple. | تدريب |
| Amazon | Amazonbot | زاحف Amazon، ويُستخدم لخدمات Amazon مثل إجابات Alexa. | بحث |
| DuckDuckGo | DuckAssistBot | يجلب الصفحات لـDuckAssist، إجابات DuckDuckGo بالذكاء الاصطناعي. | بحث |
| Meta | meta-externalagent | زاحف Meta لتدريب نماذج الذكاء الاصطناعي وتحسين منتجاتها. | تدريب |
| Common Crawl | CCBot | يبني أرشيفًا مجانيًا مفتوحًا للويب تُدرَّب عليه نماذج كثيرة. | تدريب |
| ByteDance | Bytespider | زاحف ByteDance، ويُستخدم لجمع بيانات لنماذجها. | تدريب |
| LuckPanda | LuckPandaBot | يقرأ الموقع حين يبني أحد منه شات بوت LuckPanda، أو يشغّل عليه إحدى هذه الأدوات المجانية. | شات بوت المواقع |

الرموز كما توثّقها كل شركة، وقد رُوجعت في أكتوبر 2026. الشركات تضيف زواحف وتغير أسماءها، فراجع توثيقها قبل الاعتماد على أي قائمة.

## كيف تقرأ النتيجة

- مسموح: يستطيع الزاحف قراءة صفحتك الرئيسية والمسارات التي يجربها الفاحص (‎/blog/ و‎/products/ و‎/pricing و‎/docs/ و‎/help/ والصفحة التي أدخلتها).
- جزئيًا: الصفحة الرئيسية مسموحة، لكن مسارًا واحدًا على الأقل من تلك المسارات ممنوع. وغالبًا يكون ذلك مقصودًا، مثل منطقة ‎/docs/ خاصة.
- ممنوع: لا يستطيع الزاحف قراءة صفحتك الرئيسية. وعمليًا هو ممنوع من الموقع كله.
- القاعدة المطابقة: سطر User-agent للمجموعة التي تنطبق. المجموعة التي تذكر الزاحف باسمه تتقدم على «User-agent: *». والزاحف يتبع مجموعة واحدة فقط، فإذا صارت له مجموعة خاصة لم تعد قواعد * تنطبق عليه.
- لا يوجد robots.txt: كل الزواحف تظهر «مسموح»، لأن لا شيء يطلب منها البقاء خارجًا، ويطلب منك فحص الملف مراجعته.
- وسوم noai: تظهر للمراجعة حين يحتوي وسم robots الوصفي أو ترويسة X-Robots-Tag على noai أو noimageai.

الفاحص يقرأ القواعد لا السلوك. لا يرى إعدادات جدار الحماية أو شبكة توزيع المحتوى (CDN) أو الاستضافة التي تمنع الزواحف قبل أن تصل إلى robots.txt، ولا يعرف إن كان زاحف ما يلتزم بملفك فعلًا. وإن ظهر زاحف «مسموح» هنا ولم يزر موقعك أبدًا، فراجع أيضًا إعدادات الزواحف أو الأمان لدى مستضيفك.

## هل تمنع زواحف الذكاء الاصطناعي؟ الموازنة

لا توجد إجابة واحدة صحيحة. الأمر يعتمد على رغبتك في الظهور في إجابات الذكاء الاصطناعي، وعلى موقفك من استخدام محتواك في تدريب النماذج.

| الخيار | ما تحتفظ به | ما تتخلى عنه |
| --- | --- | --- |
| السماح بكل شيء | أوسع فرصة للظهور في إجابات الذكاء الاصطناعي والمساعدين. | قد تُستخدم صفحاتك لتدريب النماذج. |
| منع التدريب، والسماح بالبحث وجلب الصفحات | يمكنك الظهور وأن تُربط صفحاتك في البحث بالذكاء الاصطناعي، ويستطيع المساعدون فتح صفحاتك عند الطلب. | القليل لمعظم الأنشطة. بعض الشركات تستخدم زاحفًا واحدًا للمهمتين، فالفصل ليس نظيفًا دائمًا. |
| منع زواحف البحث أيضًا | تبقى صفحاتك خارج منتجات البحث الذكي تلك. | من يسأل هؤلاء المساعدين أقل احتمالًا أن يجدك. |
| منع كل ما يخص الذكاء الاصطناعي | أقوى إشارة يمكنك إرسالها عبر robots.txt. | الظهور في البحث الذكي والمساعدين، وإمكانية بناء شات بوت لموقعك من صفحاتك. |

> تذكّر حقيقتين. ملف robots.txt طلب: الزواحف المنضبطة تلتزم به، لكن لا شيء يجبر أي زاحف عليه. والمنع لا يسري إلا من يوم إضافته، فلا يحذف محتوى جمعته شركة سابقًا، ولا يخرجه من نماذج دُرّبت بالفعل.

للبقاء خارج ميزات الذكاء الاصطناعي في بحث Google، ليس Google-Extended هو المفتاح: هذه الميزات تستخدم Googlebot، وهو نفسه الذي يشغّل البحث العادي. أما ضوابط المقتطفات في Google، مثل nosnippet، فتحدّ مما يمكن عرضه، في ميزات الذكاء الاصطناعي والنتائج العادية معًا.

## أمثلة robots.txt

انسخ مثالًا، واستبدل عنوان خريطة الموقع بعنوانك، وانشره في جذر موقعك، مثل yourbusiness.com/robots.txt. وكل نطاق فرعي يحتاج ملفه الخاص. أبقينا التعليقات في الأمثلة بأحرف لاتينية، لأن بعض الأدوات القديمة تتعثر بالحروف العربية في هذا الملف.

**منع التدريب، والسماح بالبحث وجلب الصفحات**

```text
# AI model training: no
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# AI search and fetches for a user's question: yes
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
Disallow: /checkout/
Disallow: /account/

# Everyone else
User-agent: *
Disallow: /checkout/
Disallow: /account/

Sitemap: https://www.yourbusiness.com/sitemap.xml
```

كررنا المسارات الخاصة في مجموعة البحث الذكي، لأن الزاحف الذي له مجموعة خاصة يتجاهل قواعد *.

**السماح لكل الزواحف، مع إبعاد المناطق الخاصة**

```text
User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /admin/

Sitemap: https://www.yourbusiness.com/sitemap.xml
```

**منع كل الزواحف في قائمة هذه الصفحة**

```text
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Disallow: /admin/
```

هذا المثال لا يذكر LuckPandaBot، فتستطيع بناء شات بوت لموقعك من صفحاتك. أضفه إلى القائمة إن أردت منعه أيضًا.

لتعرف يدويًا إن كان GPTBot ممنوعًا، افتح yourbusiness.com/robots.txt وابحث عن مجموعة تبدأ بـ«User-agent: GPTBot». إن وُجدت فقواعدها هي التي تنطبق، وإلا فتنطبق قواعد «User-agent: *». وسطر «Disallow: /» في المجموعة المنطبقة يمنع الموقع كله.

## وسم noai وحدوده

تضيف بعض المواقع «noai» أو «noimageai» إلى وسم robots الوصفي أو ترويسة X-Robots-Tag لتقول إن محتواها لا يجوز استخدامه للذكاء الاصطناعي.

**noai كوسم وصفي وكترويسة**

```text
<meta name="robots" content="noai, noimageai">

X-Robots-Tag: noai, noimageai
```

هذه القيم ليست جزءًا من أي معيار للزواحف، وقليل من الزواحف موثّق أنه يحترمها. شركات الذكاء الاصطناعي في الجدول أعلاه تنشر رموز robots.txt وسيلةً للانسحاب، فاعتبر noai تعبيرًا عن رغبتك لا منعًا. وإن أضفته، فتأكد أنك لم تكتب noindex أيضًا: فهذا يخرج الصفحة من محركات البحث تمامًا.

## أخطاء شائعة

- منع OAI-SearchBot وأنت تقصد GPTBot. الأول يُبقيك خارج البحث في ChatGPT، والثاني خارج التدريب فقط.
- نشر robots.txt من نسخة التجربة فيه «Disallow: /» لكل الزواحف. يمنع محركات البحث أيضًا.
- عنوان robots.txt يعيد HTML الصفحة الرئيسية، كما يحدث في بعض تطبيقات الصفحة الواحدة. لا تجد الزواحف قواعد، ويعامله الفاحص كأنه لا ملف.
- إعطاء زاحف مجموعة خاصة ونسيان أنه صار يتجاهل قواعد *.
- تعديل robots.txt في www.yourbusiness.com ونسيان shop.yourbusiness.com. لكل نطاق ملفه.
- منع Googlebot للبقاء خارج إجابات الذكاء الاصطناعي. هذا يخرجك من بحث Google أيضًا.
- توقع أن المنع الجديد يحذف صفحاتك من إجابات تستخدمها بالفعل. لا يؤثر إلا فيما يُجمع لاحقًا.
- تفعيل خيار «منع زواحف الذكاء الاصطناعي» بنقرة واحدة لدى المستضيف أو شبكة CDN دون معرفة ما يشمله. بعضها يمنع زواحف البحث وجلب الصفحات أيضًا.

## ماذا تسمح به المواقع عادةً، حسب النوع

خيارات شائعة، لا قواعد. قرر مع من يملك محتواك وموقعك.

| الموقع | الخيار الشائع | السبب |
| --- | --- | --- |
| متجر إلكتروني | السماح بالبحث الذكي وجلب الصفحات | صفحات المنتجات تعمل كإعلانات: ذكر منتجك في إجابة قد يجلب مشتريًا. |
| نشاط خدمي محلي | السماح بالبحث الذكي وجلب الصفحات | الناس يسألون المساعدين عن سباك أو طبيب أسنان أو مدرّس قريب، ويريدون الساعات والأسعار. |
| ناشر أو مدونة | غالبًا منع التدريب والسماح بالبحث | الكتابة هي المنتج، لكن روابط البحث الذكي ما زالت تجلب قرّاء. |
| شركة برمجيات | السماح بالبحث وجلب الصفحات للتوثيق والأسعار | المشترون يطلبون من المساعدين مقارنة الأدوات وشرح الإعداد. |
| موقع عضويات أو دورات | منع المناطق المدفوعة لكل الزواحف | المحتوى المدفوع يجب أن يكون خلف تسجيل دخول أصلًا، وrobots.txt لا يحميه. |

## شات بوت موقعك وملف robots.txt

LuckPandaBot هو الزاحف الذي يقف خلف وكلاء المواقع في LuckPanda. يقرأ موقعك حين يبني أحد منه وكيلًا، أو يشغّل عليه إحدى هذه الأدوات المجانية. وحين يبني وكيلًا، يلتزم بملف robots.txt.

إن منعته، فلن يستطيع وكيل الدعم تعلم صفحاتك، لكن يمكنك رفعها كمستندات. وإن سمحت له، يقرأ الوكيل حتى 50 صفحة، ويتخطى كل ما يمنعه robots.txt أو وسم noindex، ويجيب زوارك مما قرأه، ليلًا ونهارًا. ويعمل الوكيل في نافذة المحادثة على موقعك، لا داخل واتساب.

**ابنِ وكيل دعم من صفحاتك** الصق عنوان موقعك، وشاهد الوكيل يتعلم صفحاتك، واسأله ما يسأله عملاؤك. [تعرّف على وكيل خدمة العملاء بالذكاء الاصطناعي](https://luckpanda.app/ar/chatbot/ai-customer-service-agent)

## أسئلة شائعة

### كيف أعرف إن كان GPTBot ممنوعًا في موقعي؟

أدخل عنوانك في الفاحص أعلاه وانظر إلى سطر GPTBot: مسموح، أو جزئيًا، أو ممنوع، مع القاعدة التي حسمت ذلك. ويدويًا: افتح yoursite.com/robots.txt وابحث عن مجموعة GPTBot، أو مجموعة * إن لم توجد. سطر «Disallow: /» هناك يمنعه.

### ما هو ملف robots.txt؟

ملف نصي في جذر الموقع، مثل yoursite.com/robots.txt، يخبر الزواحف أي المسارات يجوز لها قراءتها. يتكون من مجموعات تبدأ بسطر User-agent يسمي الزاحف، تتبعها قواعد Allow وDisallow، ويمكن أن يذكر عنوان خريطة الموقع في سطر Sitemap.

### هل منع GPTBot يخرج موقعي من ChatGPT؟

لا. GPTBot يجمع الصفحات للتدريب. البحث في ChatGPT يستخدم OAI-SearchBot، والصفحات التي يطلب المستخدم من ChatGPT فتحها يجلبها ChatGPT-User. امنع GPTBot وحده، فتنسحب من التدريب المستقبلي وتبقى ظاهرًا في البحث في ChatGPT.

### هل يمنع robots.txt شركات الذكاء الاصطناعي من استخدام محتواي؟

جزئيًا فقط. robots.txt طلب تلتزم به الزواحف المنضبطة. يسري من يوم إضافة القاعدة، ولا يحذف محتوى جُمع سابقًا أو استُخدم في نماذج مدرّبة. والمحتوى الذي يجب أن يبقى خاصًا ضعه خلف تسجيل دخول.

### هل يضر منع Google-Extended بترتيبي في Google؟

تقول Google إن Google-Extended لا يؤثر في الظهور أو الترتيب في بحث Google. إنه يتحكم فقط في استخدام الصفحات التي يجمعها Googlebot لنماذج Gemini. ولا يُبقي الصفحات خارج ميزات الذكاء الاصطناعي في بحث Google، لأنها تستخدم Googlebot.

### ما الفرق بين ClaudeBot وClaude-User؟

ClaudeBot يجمع صفحات قد تُستخدم لتدريب نماذج Anthropic. وClaude-User يزور الصفحة حين يسأل عنها شخص يستخدم Claude. وClaude-SearchBot يقرأ الصفحات لنتائج البحث في Claude. ولكل منها رمز خاص في robots.txt.

جرّبه على موقعك: https://luckpanda.app/chatbot/try