# robots.txt checker: कौन-से AI क्रॉलर आपकी वेबसाइट पढ़ सकते हैं?

Canonical URL: https://luckpanda.app/hi/chatbot/tools/ai-crawler-checker
Language: hi
अपडेट: 14 अक्टूबर 2026

अपनी वेबसाइट का पता डालें। यह checker आपकी robots.txt और पेज के robots टैग पढ़ता है, और 16 AI क्रॉलर और एजेंट के लिए बताता है कि हर एक को अनुमति है, कुछ हद तक रोक है या पूरी तरह ब्लॉक है, और किस नियम से।

मुफ़्त टूल: https://luckpanda.app/hi/chatbot/tools/ai-crawler-checker (analyzer, website)

Agents: run it over MCP (https://luckpanda.app/mcp) with chatbot_public_tool_run { "tool": "ai-crawler-checker", "lang": "hi", "inputs": { … } }; chatbot_public_tool_list gives the inputs.

## यह robots.txt checker क्या करता है

> robots.txt checker आपकी साइट की robots.txt पढ़कर बताता है कि कौन-से AI क्रॉलर आपके पेज पढ़ सकते हैं। यह OpenAI, Anthropic, Perplexity, Google, Apple, Amazon, DuckDuckGo, Meta, Common Crawl, ByteDance और LuckPanda के 16 क्रॉलर और एजेंट जाँचता है। हर एक पर अनुमति है, आंशिक रोक या ब्लॉक दिखता है, साथ में वह robots.txt नियम जिससे यह तय हुआ। यह पेज पर noai टैग भी पकड़ता है।

1. **अपना पता डालें.** होम पेज, या कोई ज़रूरी पेज, जैसे आपका ब्लॉग या प्राइसिंग पेज।
2. **checker दो फ़ाइलें पढ़ता है.** आपकी /robots.txt, और ख़ुद वह पेज, उसके robots meta टैग और X-Robots-Tag हेडर के लिए।
3. **हर बॉट की सील देखें.** बॉट उनके काम के हिसाब से ग्रुप में हैं: AI सर्च, मॉडल ट्रेनिंग, यूज़र के सवाल पर पेज खोलना, और वेबसाइट चैटबॉट।
4. **लागू नियम देखें.** हर बॉट के नीचे वह user-agent ग्रुप दिखता है जो उस पर लागू है, ताकि आपको पता रहे कि कौन-सी लाइन बदलनी है।
5. **robots.txt बदलें और फिर जाँचें.** नीचे के उदाहरण इस्तेमाल करें, फ़ाइल पब्लिश करें और पक्का करने के लिए दोबारा जाँचें।

## सर्च, ट्रेनिंग और यूज़र फ़ेच: AI बॉट के तीन प्रकार

ज़्यादातर AI कंपनियाँ अब एक से ज़्यादा बॉट चलाती हैं, हर एक का अपना robots.txt टोकन। एक को ब्लॉक करने से बाक़ी ब्लॉक नहीं होते, इसलिए यह फ़र्क़ समझना ज़रूरी है।

**AI सर्च**
- पेज पढ़ता है ताकि AI सर्च प्रोडक्ट उन्हें जवाबों में दिखा और लिंक कर सके।
- उदाहरण: OAI-SearchBot, Claude-SearchBot, PerplexityBot।
- इसे ब्लॉक करें तो आपके पेज उस प्रोडक्ट के जवाबों में आना बंद हो जाते हैं।

**मॉडल ट्रेनिंग**
- ऐसे पेज जमा करता है जिनसे आगे के AI मॉडल ट्रेन हो सकते हैं।
- उदाहरण: GPTBot, ClaudeBot, Google-Extended, CCBot।
- इसे ब्लॉक करें तो आज से आगे के लिए आप बाहर हो जाते हैं। पहले जमा हुआ डेटा वापस नहीं होता।

**यूज़र के सवाल पर पेज खोलना**
- जब कोई व्यक्ति असिस्टेंट से किसी पेज के बारे में पूछता है या उसका लिंक पेस्ट करता है, तब पेज खोलता है।
- उदाहरण: ChatGPT-User, Claude-User, Perplexity-User।
- कुछ कंपनियाँ कहती हैं कि इन पर robots.txt शायद लागू न हो, क्योंकि किसी इंसान ने माँगा है।

## checker जिन बॉट को जाँचता है

नीचे के टोकन वही नाम हैं जो हर कंपनी robots.txt के लिए बताती है। इन्हें User-agent लाइन में ठीक इसी तरह लिखें। छोटे-बड़े अक्षर से फ़र्क़ नहीं पड़ता।

| कंपनी | robots.txt टोकन | क्या करता है | ग्रुप |
| --- | --- | --- | --- |
| OpenAI | OAI-SearchBot | ChatGPT सर्च के नतीजों में दिखाने और लिंक करने के लिए पेज ढूँढता है। | AI सर्च |
| OpenAI | ChatGPT-User | जब ChatGPT यूज़र माँगे, तब पेज खोलता है। | यूज़र फ़ेच |
| OpenAI | GPTBot | ऐसे पेज जमा करता है जिनसे OpenAI के मॉडल ट्रेन हो सकते हैं। | ट्रेनिंग |
| Anthropic | Claude-SearchBot | Claude में सर्च नतीजे बेहतर करने के लिए पेज पढ़ता है। | AI सर्च |
| Anthropic | Claude-User | जब Claude यूज़र माँगे, तब पेज खोलता है। | यूज़र फ़ेच |
| Anthropic | ClaudeBot | ऐसे पेज जमा करता है जिनसे Anthropic के मॉडल ट्रेन हो सकते हैं। | ट्रेनिंग |
| Perplexity | PerplexityBot | Perplexity के सर्च जवाबों के लिए पेज इंडेक्स करता है। | AI सर्च |
| Perplexity | Perplexity-User | जब Perplexity यूज़र किसी पेज के बारे में पूछे, तब उसे खोलता है। | यूज़र फ़ेच |
| Google | Google-Extended | अलग क्रॉलर नहीं, एक कंट्रोल टोकन: बताता है कि Googlebot के जमा किए पेज Gemini मॉडल की ट्रेनिंग में जा सकते हैं या नहीं। Google Search पर असर नहीं। | ट्रेनिंग |
| Apple | Applebot-Extended | अलग क्रॉलर नहीं, एक कंट्रोल टोकन: बताता है कि Applebot के जमा किए पेज Apple के AI मॉडल की ट्रेनिंग में जा सकते हैं या नहीं। | ट्रेनिंग |
| Amazon | Amazonbot | Amazon का क्रॉलर, Alexa के जवाब जैसी Amazon सर्विस के लिए। | AI सर्च |
| DuckDuckGo | DuckAssistBot | DuckDuckGo के AI जवाबों (DuckAssist) के लिए पेज खोलता है। | AI सर्च |
| Meta | meta-externalagent | AI मॉडल ट्रेन करने और अपने प्रोडक्ट बेहतर करने के लिए Meta का क्रॉलर। | ट्रेनिंग |
| Common Crawl | CCBot | वेब का मुफ़्त, खुला आर्काइव बनाता है, जिस पर कई AI मॉडल ट्रेन होते हैं। | ट्रेनिंग |
| ByteDance | Bytespider | ByteDance का वेब क्रॉलर, उसके AI मॉडल के लिए डेटा जमा करता है। | ट्रेनिंग |
| LuckPanda | LuckPandaBot | जब कोई किसी साइट से LuckPanda चैटबॉट बनाता है या उस पर ये मुफ़्त टूल चलाता है, तब साइट पढ़ता है। | वेबसाइट चैटबॉट |

टोकन वैसे ही जैसे हर कंपनी बताती है, अक्टूबर 2026 में जाँचे गए। कंपनियाँ नए बॉट जोड़ती हैं और नाम बदलती हैं, इसलिए किसी लिस्ट पर भरोसा करने से पहले उनकी डॉक्यूमेंटेशन देखें।

## नतीजा कैसे पढ़ें

- अनुमति है: बॉट आपका होम पेज और वे सैंपल पाथ पढ़ सकता है जो checker आज़माता है (/blog/, /products/, /pricing, /docs/, /help/ और आपका डाला पेज)।
- आंशिक रोक: होम पेज की अनुमति है, पर इनमें से कम से कम एक पाथ पर Disallow है। अक्सर यह जानबूझकर होता है, जैसे कोई प्राइवेट /docs/ हिस्सा।
- ब्लॉक: बॉट आपका होम पेज नहीं पढ़ सकता। असल में वह पूरी साइट से बाहर रहता है।
- लागू नियम: उस ग्रुप की user-agent लाइन जो लागू होती है। जिस ग्रुप में बॉट का नाम है, वह “User-agent: *” पर भारी पड़ता है। बॉट सिर्फ़ एक ग्रुप मानता है, इसलिए उसका अपना ग्रुप होते ही * के नीचे के नियम उस पर लागू नहीं होते।
- robots.txt नहीं है: हर बॉट पर “अनुमति है” दिखता है, क्योंकि कुछ भी उन्हें बाहर रहने को नहीं कहता, और फ़ाइल वाली जाँच आपसे इसे देखने को कहती है।
- noai टैग: अगर आपके पेज के robots meta टैग या X-Robots-Tag हेडर में noai या noimageai है, तो इसे “देखें” के साथ दिखाया जाता है।

checker नियम पढ़ता है, बॉट का व्यवहार नहीं। यह फ़ायरवॉल, CDN या होस्टिंग की वह सेटिंग नहीं देख सकता जो बॉट को robots.txt तक पहुँचने से पहले ही रोक दे, और यह नहीं बता सकता कि कोई बॉट सच में आपकी फ़ाइल मानता है या नहीं। अगर यहाँ कोई बॉट “अनुमति है” दिखे पर कभी न आए, तो अपनी होस्टिंग की बॉट या सिक्योरिटी सेटिंग भी देखें।

## क्या AI क्रॉलर ब्लॉक करने चाहिए? फ़ायदे और नुक़सान

इसका एक सही जवाब नहीं है। यह इस पर निर्भर है कि आप AI जवाबों में दिखना चाहते हैं या नहीं, और आपके कंटेंट से मॉडल ट्रेन होने के बारे में आप क्या सोचते हैं।

| विकल्प | आपको क्या मिलता है | आप क्या छोड़ते हैं |
| --- | --- | --- |
| सबको अनुमति | AI जवाबों और असिस्टेंट में दिखने का सबसे बड़ा मौक़ा। | आपके पेज मॉडल ट्रेनिंग में इस्तेमाल हो सकते हैं। |
| ट्रेनिंग ब्लॉक, सर्च और यूज़र फ़ेच को अनुमति | आप AI सर्च में दिख सकते हैं और लिंक हो सकते हैं, और पूछने पर असिस्टेंट आपके पेज खोल सकते हैं। | ज़्यादातर बिज़नेस के लिए बहुत कम। कुछ कंपनियाँ दोनों कामों के लिए एक ही बॉट चलाती हैं, इसलिए यह बँटवारा हमेशा साफ़ नहीं होता। |
| सर्च बॉट भी ब्लॉक | आपके पेज उन AI सर्च प्रोडक्ट से बाहर रहते हैं। | उन असिस्टेंट से पूछने वाले लोगों के आप तक पहुँचने की संभावना कम होती है। |
| हर AI बॉट ब्लॉक | robots.txt से दिया जा सकने वाला सबसे सख़्त संकेत। | AI सर्च और असिस्टेंट में दिखना, और आपके पेजों से वेबसाइट चैटबॉट बनाने का विकल्प। |

> दो बातें याद रखें। robots.txt एक गुज़ारिश है: अच्छे क्रॉलर इसे मानते हैं, पर कोई बॉट इसे मानने के लिए मजबूर नहीं है। और ब्लॉक उसी दिन से काम करता है जिस दिन आप इसे जोड़ते हैं। यह किसी कंपनी का पहले से जमा किया कंटेंट नहीं हटाता, और पहले से ट्रेन हुए मॉडल से उसे नहीं निकालता।

Google Search के AI फ़ीचर से बाहर रहने के लिए Google-Extended सही स्विच नहीं है: वे Googlebot इस्तेमाल करते हैं, जो आम Search भी चलाता है। Google के स्निपेट कंट्रोल, जैसे nosnippet, यह सीमित करते हैं कि वह क्या दिखा सकता है, AI फ़ीचर में भी और आम नतीजों में भी।

## तैयार robots.txt उदाहरण

robots.txt generator की ज़रूरत नहीं: नीचे से एक उदाहरण कॉपी करें, sitemap का पता अपने वाले से बदलें और इसे अपनी साइट के रूट पर पब्लिश करें, जैसे yourbusiness.in/robots.txt। हर सबडोमेन को अपनी अलग फ़ाइल चाहिए। Shopify, WordPress जैसे प्लैटफ़ॉर्म पर robots.txt बदलने का तरीक़ा अलग होता है, इसलिए अपने प्लैटफ़ॉर्म की मदद भी देखें।

**AI ट्रेनिंग ब्लॉक, AI सर्च और यूज़र फ़ेच को अनुमति**

```text
# AI मॉडल ट्रेनिंग: नहीं
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

# AI सर्च और यूज़र के सवाल पर पेज खोलना: हाँ
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: DuckAssistBot
Disallow: /checkout/
Disallow: /account/

# बाक़ी सभी
User-agent: *
Disallow: /checkout/
Disallow: /account/

Sitemap: https://www.yourbusiness.com/sitemap.xml
```

प्राइवेट पाथ AI सर्च वाले ग्रुप में दोबारा लिखे गए हैं, क्योंकि जिस बॉट का अपना ग्रुप है, वह * के नीचे के नियम नहीं मानता।

**हर AI बॉट को अनुमति, प्राइवेट हिस्से बाहर**

```text
User-agent: *
Disallow: /checkout/
Disallow: /account/
Disallow: /admin/

Sitemap: https://www.yourbusiness.com/sitemap.xml
```

**इस पेज की लिस्ट के हर AI बॉट को ब्लॉक**

```text
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Amazonbot
User-agent: DuckAssistBot
User-agent: meta-externalagent
User-agent: CCBot
User-agent: Bytespider
Disallow: /

User-agent: *
Disallow: /admin/
```

इसमें LuckPandaBot नहीं है, ताकि आप अपने पेजों से वेबसाइट चैटबॉट बना सकें। उसे भी ब्लॉक करना हो, तो लिस्ट में जोड़ दें।

GPTBot ब्लॉक है या नहीं, यह ख़ुद जाँचने के लिए yourbusiness.in/robots.txt खोलें और ऐसा ग्रुप ढूँढें जो “User-agent: GPTBot” से शुरू हो। अगर है, तो उसके नियम लागू होते हैं। अगर नहीं, तो “User-agent: *” के नीचे के नियम। जो ग्रुप लागू है, उसमें “Disallow: /” लाइन पूरी साइट ब्लॉक कर देती है।

## noai टैग और उसकी सीमाएँ

कुछ साइटें अपने robots meta टैग या X-Robots-Tag हेडर में “noai” या “noimageai” जोड़ती हैं, यह कहने के लिए कि उनका कंटेंट AI के लिए इस्तेमाल न हो।

**noai, meta टैग और हेडर दोनों रूप में**

```text
<meta name="robots" content="noai, noimageai">

X-Robots-Tag: noai, noimageai
```

ये वैल्यू किसी robots स्टैंडर्ड का हिस्सा नहीं हैं, और बहुत कम क्रॉलर के बारे में लिखा है कि वे इन्हें मानते हैं। ऊपर की टेबल वाली AI कंपनियाँ बाहर रहने के तरीक़े के रूप में robots.txt टोकन बताती हैं, इसलिए noai को अपनी इच्छा का बयान मानें, ब्लॉक नहीं। अगर इसे जोड़ें, तो ध्यान रखें कि साथ में noindex न लिख दें: वह पेज को सर्च इंजन से पूरी तरह हटा देता है।

## आम ग़लतियाँ

- GPTBot की जगह OAI-SearchBot ब्लॉक कर देना। पहला आपको ChatGPT सर्च से बाहर रखता है, दूसरा सिर्फ़ ट्रेनिंग से।
- टेस्टिंग साइट की robots.txt, जिसमें हर user agent के लिए “Disallow: /” है, लाइव साइट पर चला देना। यह सर्च इंजन को भी रोकती है।
- ऐसा robots.txt पता जो आपके होम पेज का HTML लौटाता है, जो कुछ single-page ऐप में होता है। क्रॉलर को कोई नियम नहीं मिलता, और checker इसे “फ़ाइल नहीं है” मानता है।
- किसी बॉट का अपना ग्रुप बनाना और भूल जाना कि फिर वह * के नीचे के नियम नहीं मानता।
- www.yourbusiness.in पर robots.txt बदलना और shop.yourbusiness.in को भूल जाना। हर होस्ट की अपनी फ़ाइल होती है।
- AI जवाबों से बाहर रहने के लिए Googlebot ब्लॉक करना। इससे आप Google Search से भी बाहर हो जाते हैं।
- यह उम्मीद करना कि नया ब्लॉक उन जवाबों से आपके पेज हटा देगा जो पहले से उनका इस्तेमाल कर रहे हैं। इसका असर सिर्फ़ आगे जमा होने वाले कंटेंट पर होता है।
- होस्टिंग या CDN की एक-क्लिक “block AI bots” सेटिंग बिना देखे चालू करना कि वह किन बॉट को रोकती है। कुछ सर्च बॉट और यूज़र फ़ेच को भी रोक देती हैं।

## साइट के हिसाब से आम तौर पर क्या अनुमति दी जाती है

ये आम पसंद हैं, नियम नहीं। फ़ैसला उनके साथ करें जो आपके कंटेंट और वेबसाइट के मालिक हैं।

| साइट | आम पसंद | क्यों |
| --- | --- | --- |
| ऑनलाइन स्टोर या Shopify D2C ब्रांड | AI सर्च और यूज़र फ़ेच को अनुमति | प्रोडक्ट पेज विज्ञापन की तरह काम करते हैं: किसी जवाब में नाम आना ख़रीदार ला सकता है। |
| लोकल बिज़नेस, जैसे क्लिनिक, कोचिंग या सैलून | AI सर्च और यूज़र फ़ेच को अनुमति | लोग असिस्टेंट से पास का डॉक्टर, कोचिंग या प्लंबर पूछते हैं, और टाइमिंग व दाम जानना चाहते हैं। |
| न्यूज़ साइट या ब्लॉग | अक्सर ट्रेनिंग ब्लॉक, सर्च को अनुमति | लेख ही प्रोडक्ट है, पर AI सर्च के लिंक से फिर भी पाठक आते हैं। |
| सॉफ़्टवेयर कंपनी | डॉक्स और प्राइसिंग के लिए सर्च और यूज़र फ़ेच को अनुमति | ख़रीदार असिस्टेंट से टूल्स की तुलना और सेटअप समझाने को कहते हैं। |
| मेंबरशिप या ऑनलाइन कोर्स साइट | पेड हिस्से सभी बॉट के लिए ब्लॉक | पेड कंटेंट वैसे भी लॉग-इन के पीछे होना चाहिए; robots.txt उसे सुरक्षित नहीं रखती। |

## आपका अपना वेबसाइट चैटबॉट और robots.txt

LuckPandaBot वह क्रॉलर है जो LuckPanda के वेबसाइट एजेंट के पीछे है। यह आपकी साइट तब पढ़ता है जब कोई उससे एजेंट बनाता है या उस पर ये मुफ़्त टूल चलाता है। एजेंट बनाते समय यह आपकी robots.txt मानता है।

अगर आप इसे ब्लॉक करते हैं, तो सपोर्ट एजेंट आपके पेज नहीं सीख सकता, पर आप उन्हें डॉक्यूमेंट के रूप में अपलोड कर सकते हैं। अगर अनुमति देते हैं, तो एजेंट 50 पेज तक पढ़ता है, robots.txt या noindex टैग से रोके गए पेज छोड़ देता है, और जो पढ़ा उससे दिन-रात आपके विज़िटर्स को जवाब देता है। यह एजेंट आपकी वेबसाइट पर चलता है, WhatsApp या Instagram पर नहीं।

**अपने पेजों से सपोर्ट एजेंट बनाइए** अपना पता डालें, देखें कि एजेंट आपकी साइट कैसे सीखता है, और उससे वही पूछें जो आपके ग्राहक पूछते हैं, जैसे “COD hai kya?” या “delivery kitne din me hogi?”। [AI कस्टमर सर्विस एजेंट देखें](https://luckpanda.app/hi/chatbot/ai-grahak-seva-agent)

## अक्सर पूछे जाने वाले सवाल

### GPTBot ब्लॉक है या नहीं, कैसे पता करें?

ऊपर checker में अपना पता डालें और GPTBot वाली लाइन देखें: अनुमति है, आंशिक रोक या ब्लॉक, साथ में वह नियम जिससे यह तय हुआ। ख़ुद देखना हो तो yoursite.in/robots.txt खोलें और GPTBot का ग्रुप ढूँढें, या वह न हो तो * वाला ग्रुप। वहाँ “Disallow: /” हो तो वह ब्लॉक है।

### GPTBot ब्लॉक करने से क्या मेरी साइट ChatGPT से हट जाएगी?

नहीं। GPTBot ट्रेनिंग के लिए पेज जमा करता है। ChatGPT सर्च OAI-SearchBot इस्तेमाल करता है, और जो पेज यूज़र ChatGPT से खुलवाता है वे ChatGPT-User खोलता है। सिर्फ़ GPTBot ब्लॉक करें, तो आप आगे की ट्रेनिंग से बाहर हो जाते हैं और ChatGPT सर्च में दिखते रहते हैं।

### क्या robots.txt से AI कंपनियाँ मेरा कंटेंट इस्तेमाल करना बंद कर देंगी?

सिर्फ़ कुछ हद तक। robots.txt एक गुज़ारिश है जिसे अच्छे क्रॉलर मानते हैं। यह नियम जोड़ने के दिन से काम करती है, और पहले से जमा या ट्रेन हुए मॉडल में इस्तेमाल हुआ कंटेंट नहीं हटाती। जो कंटेंट प्राइवेट रहना ज़रूरी है, उसे लॉग-इन के पीछे रखें।

### Google-Extended ब्लॉक करने से Google रैंकिंग पर असर पड़ेगा?

Google कहता है कि Google-Extended का Google Search में शामिल होने या रैंकिंग पर कोई असर नहीं होता। यह सिर्फ़ तय करता है कि Googlebot के जमा किए पेज Gemini मॉडल के लिए इस्तेमाल हो सकते हैं या नहीं। यह पेजों को Google Search के AI फ़ीचर से भी बाहर नहीं रखता, जो Googlebot इस्तेमाल करते हैं।

### ClaudeBot और Claude-User में क्या फ़र्क़ है?

ClaudeBot ऐसे पेज जमा करता है जिनसे Anthropic के मॉडल ट्रेन हो सकते हैं। Claude-User तब पेज खोलता है जब Claude इस्तेमाल करने वाला व्यक्ति उसके बारे में पूछता है। Claude-SearchBot, Claude के सर्च नतीजों के लिए पेज पढ़ता है। हर एक का अपना robots.txt टोकन है।

### robots.txt फ़ाइल कहाँ होती है, और इसे कैसे बनाएँ?

robots.txt हमेशा साइट के रूट पर होती है, जैसे yourbusiness.in/robots.txt, और हर सबडोमेन की अपनी फ़ाइल होती है। यह एक सादी टेक्स्ट फ़ाइल है: ऊपर के किसी उदाहरण को कॉपी करें, sitemap का पता बदलें, पब्लिश करें और इस checker से दोबारा जाँचें।

अपनी वेबसाइट पर आज़माएँ: https://luckpanda.app/chatbot/try