Amikor magad zárod ki az MI elől: a tiltott ClaudeBot és GPTBot esete
Ha a robots.txt-ed vagy a biztonsági bővítményed 403-as hibával blokkolja a ClaudeBotot vagy a GPTBotot, akkor a Claude és a ChatGPT szó szerint semmit sem tud az oldaladról — nem azért, mert nem vagy elég ismert, hanem azért, mert te magad zárod ki őket. Ez nem piaci láthatatlanság: ez okozati, visszafordítható hiba, amelyet egy rövid robots.txt-javítással orvosolni lehet.
Az MI-láthatóság legnagyobb paradoxona, hogy sok vállalkozás éppen az ellen védekezik, amit segítségül szeretne hívni. Biztonsági bővítmény blokkolja az ismeretlen botokat — köztük a ClaudeBotot és a GPTBotot. Robots.txt-szabály zárja ki az összes nem Google-kérést. IP-alapú tűzfal minősíti ismeretlen forgalomnak az Anthropic adatközpontjait. Mindhárom esetben ugyanaz az eredmény: kimaradsz az MI tanítóanyagából, és az AI-láthatóságod nullán van — nem piaci, hanem technikai okból.
Mit csinál a ClaudeBot és a GPTBot, és miért nem ellenség?
A ClaudeBot az Anthropic webmásolója: rendszeresen végigmegy a nyilvánosan elérhető weboldalakon, és az összegyűjtött tartalom az Anthropic modelljeit — köztük a Claude-ot — gazdagítja. A GPTBot az OpenAI megfelelője: a ChatGPT alapját adó modellek tanítóanyagát gyűjti össze a webről. Mindkettő engedelmesen betartja a robots.txt-ed utasításait, és az Anthropic dokumentációja és az OpenAI GPTBot leírása is pontos robots.txt-példát ad arra, hogyan engedélyezd vagy tiltsd őket.
A kulcsszó az „engedelmesen”. Ha a robots.txt-edben azt írod, hogy Disallow: / a ClaudeBot vagy a GPTBot user agentjéhez, ezek a botok tiszteletben tartják — és soha nem olvassák el az oldalad tartalmát. Ebből következik, hogy a Claude modelljei nem tanultak belőle, a ChatGPT pedig nem ismeri a tartalmadat. Egy vásárló, aki a ChatGPT-t kérdezi meg a szolgáltatásoddal kapcsolatban, helyetted üres lapot, hallucináló választ vagy egy versenytársat fog kapni.
A blokkolás tehát nem semleges: aktívan ront a helyzeten, méghozzá olyan pillanatban, amikor a vásárlók egyre nagyobb arányban fordulnak kérdéseikkel az MI-eszközökhöz. Aki csak a hagyományos Google-keresési optimalizálásra figyelt, annak a robots.txt-je valószínűleg rendben van — a Googlebotot senki sem szokta blokkolni. A probléma az, hogy a biztonsági gondolkodás az összes „egyéb” botot egy kalap alá vette, miközben a ClaudeBot és a GPTBot már rég a „fontos vendég” kategóriába tartozna.
Hogyan derítsd ki, hogy blokkolod-e az MI-botokat?
A diagnózis bármilyen fizetős eszköz nélkül elvégezhető. Három réteget érdemes megnézni.
Az első réteg a robots.txt. Nyisd meg böngészőben a yourdomain.hu/robots.txt fájlt. Keresd benne a ClaudeBot, GPTBot, PerplexityBot és anthropic-ai user agent-neveket. Ha valamelyiknél Disallow: / áll, az teljes letiltást jelent. Ha nincs ilyen specifikus bejegyzés, de van egy általános User-agent: * szabály Disallow: /-val, az szintén blokkolja az összes botot — köztük az MI-botokat is. Fontos: a robots.txt maga a fájlnév — soha ne nevezd át, és ne módosítsd a nevét, csak a tartalmát.
A második réteg a szervered válaszkódja. A robots.txt-engedély szükséges, de önmagában nem elegendő feltétel. Ha a szervered — tűzfal, CDN-szabály, biztonsági bővítmény, WAF — 403-as hibával válaszol a ClaudeBot és a GPTBot User-Agent fejléccel érkező kérésekre, akkor a robots.txt-szabályod irreleváns: a bot el sem jutott odáig, hogy elolvassa. Az ilyen típusú blokkolást a legtöbb biztonsági bővítmény (iThemes Security, Wordfence, Cloudflare WAF) alapértelmezetten alkalmazza az ismeretlen botokra. Az ellenőrzés módja: valamilyen HTTP-fejléc-tesztelő eszközzel küldj kérést ClaudeBot User-Agent fejléccel, és nézd meg, milyen státuszkódot kapsz vissza.
A harmadik réteg a valódi mérés. Az előző kettő technikai ellenőrzés — de a végeredményt az MI-alkalmazásokban érdemes leellenőrizni. Nyisd meg a Claude vagy a ChatGPT ingyenes változatát, és kérdezz rá a saját vállalkozásodra, a saját szolgáltatásaidra. Ha az AI nem ismeri fel a neved, nem tud pontos adatokat a cégről, vagy hallucináló választ ad — miközben egy régebbi, kisebb versenytársat pontosan ismer —, az erős jele lehet annak, hogy kimaradtál a tanítóanyagból. A MI-hallucináció és a magyar vállalkozások cikkben részletesen leírtam, hogyan kell ezt értelmezni.
Hogyan javítsd, ha blokkolod az MI-botokat?
A javítás elvégezhető, és a legtöbb esetben nem igényel fejlesztőt — de pontosan kell csinálni, mert a félmegoldás ugyanazt az eredményt hozza, mint a teljes blokk.
A robots.txt javítása a legegyszerűbb. Az alábbi blokkot add hozzá a fájl végéhez:
User-agent: ClaudeBot
Allow: /
User-agent: GPTBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: PerplexityBot
Allow: /Ha az általános User-agent: * blokk tiltja az összes botot, akkor az MI-specifikus Allow: / bejegyzések kerüljenek elé — a robots.txt feldolgozása felülről lefelé halad, és a legelső illeszkedő szabályt veszi figyelembe. Az OpenAI GPTBot dokumentációja és az Anthropic leírása is ezt a sorrendet javasolja.
A szerver- és tűzfalszintű blokk feloldása már kicsit összetettebb. Ha Cloudflare WAF-szabályok tiltják az ismeretlen botokat, hozz létre kivételszabályt a ClaudeBot és a GPTBot User-Agent fejlécre. Ha WordPress biztonsági bővítményt (Wordfence, iThemes Security, All In One WP Security) használsz, keresd meg az „engedélyezett botok” listáját, és add hozzá a ClaudeBot, anthropic-ai és GPTBot neveket. A konkrét menü neve bővítményenként eltér, de általában a „Bot protection” vagy „Blocked crawlers” szekcióban találod.
Ha nem vagy biztos abban, hogy melyik réteg blokkolja a botokat, a legmegbízhatóbb módszer ez: kérd meg a tárhelyszolgáltatódat, hogy a szervernaplóban keressék meg a ClaudeBot user agenttel érkező kéréseket, és nézzék meg, 403-as vagy 200-as választ kapnak-e. Ez a féltucatnyi sor pontosan megmutatja, hol van a blokk.
Miért nem elég csak a Googlebotot engedélyezni?
Ez a leggyakoribb félreértés, és érdemes külön foglalkozni vele. A hagyományos keresőoptimalizálás arra épített, hogy a Google az egyetlen keresőbot, amelynek számít az engedélye. Ma már nincs így.
A különböző MI-platformok más-más botot használnak a tartalom begyűjtéséhez. A Claude a ClaudeBotot és az anthropic-ai user agentet küldi, a ChatGPT a GPTBotot, a Perplexity a PerplexityBotot, a Microsoft Copilot a Bingbotot. Ha csak a Googlebotot engedélyezed, és az összes többi botot blokkolod, akkor a ChatGPT és a Claude szó szerint nem tud rólad — miközben a Google keresésben kiválóan szerepelhetsz. Ez pontosan az a helyzet, amikor a modell keresés nélkül és kereséssel teljesen mást mond: a Gemini (amely a Google indexéhez kötődik) ismerhet téged, a ChatGPT mégsem.
A három nagy MI-bot összehasonlításáról szóló cikkben részletesen leírtam, melyik cég melyik botot üzemelteti, és hogyan különbözik a viselkedésük. Az a lényeg, hogy ma már nem elegendő a Googlebot-engedély: minden nagyobb MI-botnak külön engedély kell, ha azt szeretnéd, hogy bekerülj a tanítóanyagukba.
Ugyanakkor a blokk feloldása szükséges, de nem elegendő feltétel. Attól, hogy a ClaudeBot végigolvassa az oldalad, az MI nem fogja automatikusan téged ajánlani egy vásárlónak — az ajánlásokat a vélemények, a márkaismertség és a külső jelenlét határozza meg, nem önmagában a crawl. Erről részletesebben a GEO-pontszám és az MI-ajánlás különbségéről szóló bejegyzésben írtam. A botblokk feloldása azt oldja meg, hogy az MI egyáltalán tudjon rólad valamit — azt, hogy mit mond rólad, a tartalmad és a külső jelenléted is befolyásolja.
Mi a különbség a blokk és a tényleges MI-láthatatlanság között?
Ez a megkülönböztetés rendkívül fontos, mert a kettőt sok vállalkozás összetéveszti — és más a megoldásuk.
A botblokk okozta láthatatlanság technikai probléma: az MI-bot nem tudta elolvasni az oldalad, ezért nem ismeri a tartalmadat. Ez visszafordítható: a robots.txt és a tűzfalbeállítások módosítása után a bot legközelebb végigmegy az oldalon, és a tartalom beépül a tanítóanyagba. A következő modellfrissítésnél — vagy ha a platform élő kereséssel dolgozik, akkor hamarabb — javul a helyzet. Az ilyen blokk jellegzetes tünete: az AI nem ismeri a céget, nem tud alapinformációkat mondani róla, vagy teljesen más, hasonló nevű vállalkozással keveri össze.
A tényleges MI-láthatatlanság más természetű: az AI ismeri az oldalad, elolvasta a tartalmad, de a kérdésekre adott válaszaiban nem te vagy az első, és nem téged ajánl. Ezt nem a robots.txt okozza — ezt a vélemények száma, a külső hivatkozások minősége, a tartalom válaszkészsége és a márka ismertsége határozza meg. Ez már nem percek alatt javítható, hanem hosszabb munkát igényel.
Éppen ezért épül a hét dimenzió mentén végzett mérésem arra, hogy a bot-hozzáférhetőség az egyik külön mért elem: megvizsgálom, hogy a főbb MI-botok ténylegesen elérik-e az oldalt, vagy valamilyen szerverhiba, tűzfalszabály vagy robots.txt-bejegyzés megakadályozza a hozzáférést. Ha blokk van, azt a mérés azonnal felszínre hozza — még mielőtt bármilyen tartalmi következtetést levonnék.
Mikor érdemes szándékosan blokkolni az MI-botokat?
Igen, van ilyen eset — és becsületes válasz nélkül a cikk hiányos lenne.
Ha érzékeny tartalmad van, amelyet nem szeretnél MI-tanítóanyagba juttatni — például egyedi ügyfélszerződések, belső dokumentumok, személyes adatokat tartalmazó oldalak —, akkor a robots.txt-tiltás teljesen indokolt ezekre az aloldalakra. A Disallow: /belso/ vagy Disallow: /ugyfeladatok/ típusú szűkített tiltások pontosan ezt a célt szolgálják.
Ha azonban a nyilvános termékoldalaidat, a szolgáltatásleírásaidat, a kapcsolat oldaladat és a blogbejegyzéseidet is tiltod — akár véletlenül, egy általános szabály miatt —, azzal pont azokat az oldalakat zárod ki az MI-oktatásból, amelyek a vásárlóid számára relevánsak. Ezért érdemes a robots.txt-szabályokat nem „mindent tiltok, és kivételeket engedélyezek” logikával írni, hanem fordítva: alapból engedélyezed az MI-botokat, és csak a valóban érzékeny aloldalakat tiltod.
Ha meg szeretnéd nézni, ma mi a helyzet a saját oldaladnál — megnézem, mit lát belőled a gép, és hogy a blokk okozza-e a láthatatlanságot, vagy más tényezők is szerepet játszanak —, a kapcsolat oldalon tudod jelezni. A mérés ingyenes kiindulópontként megmutatja, hol van a valódi probléma.
