Egy gyártó, három bot: amit az Anthropic és az OpenAI külön botjairól tudnod kell
Az Anthropicnak három, az OpenAI-nak szintén három külön botja van — és mindegyik más feladatot lát el. Ha a robots.txt fájlodban csak az egyiket engedélyezed vagy tiltod, könnyen kizárhatsz egy teljes funkciót anélkül, hogy észrevennéd: lehet, hogy a ChatGPT tanítóbotját beengedted, a keresőbotját viszont nem, így soha nem fogsz megjelenni a ChatGPT válaszaiban, pedig technikailag „nyitva” voltál. Ez a cikk megmutatja, melyik bot mit csinál — és hogyan kezeld őket tudatosan.
Ez nem pusztán technikai részletkérdés. A hat bot különböző pontokon érinti a vásárlóidat: az egyiknél az a kérdés, hogy a ChatGPT tudja-e, hogy egyáltalán létezel; a másiknál az, hogy élő válaszában forrásként idéz-e téged. Mielőtt bármilyen robots.txt-beállításhoz nyúlnál, érdemes pontosan tudnod, mit érsz el az egyes engedélyekkel — és mit veszítesz az egyes tiltásokkal.
Miért nem elég csak a „főbotot” ismerni?
Sokan úgy gondolnak az MI-botokra, mintha minden cégnek egyetlen, monolitikus automatája járná az internetet. A valóságban mind az Anthropic, mind az OpenAI több, funkcionálisan elkülönített botot üzemeltet — ezeket a botokat pedig névvel, külön User-agent karakterlánccal azonosítják, így egyenként szabályozhatók a robots.txt fájlban.
Az összekeverésük nem veszélytelen. Ha valaki csak a „ClaudeBot” nevet ismeri, és azt blokkolja, mert úgy gondolja, hogy „nem akarom, hogy az Anthropic feltérképezze az oldalamat”, valójában csak a tanítóadat-gyűjtést tiltja le — miközben a Claude keresőbotja, a Claude-SearchBot, továbbra is bejöhet. Fordítva: ha valaki az összes Anthropic-botot engedi, de tévesen egyenlőségjelet tesz a „GPTBot” és az „összes OpenAI-bot” közé, lemarad arról, hogy a ChatGPT keresési és összeszerkesztési botjai más néven futnak. A tényleges hatás láthatatlan marad — egészen addig, amíg valaki rá nem mér, és a számok el nem árulják.
A hat botnak megvan a maga önálló logikája, és mindegyiknél az a különbség számít, amely a modell tréningjét elválasztja a felhasználói élménytől:
- Tréningbot — azért jön, hogy az oldal tartalma bekerüljön a következő modell tanítóanyagába. A hatása hónapokkal, esetleg évekkel később érződik.
- Keresési/válaszbot — azért jön, hogy az oldalt élő lekérdezéskor, valós időben forrásként idézze. A hatása azonnali: a mai kérdés, a mai válasz.
- Felhasználói kontextusbot — az Anthropic különleges botja, amely a Claude alkalmazáson belüli linkmegosztáshoz szükséges: ha a felhasználó beküld egy URL-t a Claude-ba, ez a bot olvassa el az oldalt a felhasználó helyett.
Ez a három funkció három különböző értéket jelent számodra — és háromféle döntést igényel, nem egyet.
Az Anthropic három botja: ClaudeBot, Claude-User, Claude-SearchBot
Az Anthropic saját dokumentációja szerint a következő három botot üzemelteti:
ClaudeBot — a modell tanítóadatait gyűjti. Amikor a ClaudeBot meglátogatja az oldaladat, az ott talált tartalom potenciálisan bekerülhet a jövőbeli Claude modellek tanítóanyagába. A hatás nem azonnali: a tréning ciklusa hónapok alatt zajlik le. Ha tiltod a ClaudeBotot, a tartalmad nem befolyásolja a Claude jövőbeli „tudását” rólad — de ez a letiltás a másik két botra nincs hatással.
Claude-User — a felhasználói linkmegosztást szolgálja. Ha valaki a Claude alkalmazásban beküld egy linket — „nézd meg ezt az oldalt” —, a Claude-User megy el, és olvassa el a tartalmat a felhasználó nevében, valós időben. Ez technikailag proxykérés: nem a Claude szerverei, hanem a felhasználó kérésére történik. A tiltása azt jelenti, hogy a Claude-ba beillesztett linkek nem lesznek olvashatók — a felhasználó nem kap tartalom-összefoglalót az oldaladról, még akkor sem, ha ő maga akarja megmutatni valakinek.
Claude-SearchBot — az élő keresési és válaszidézési funkciót végzi. Ez az a bot, amelyik azért jön, hogy a Claude válaszaiban az oldalad valós időben forrásként jelenjen meg, amikor a felhasználó olyasmit kérdez, amire az oldalad releváns. A három közül ez hat a legközvetlenebbül a vásárlói láthatóságra: ha ez a bot be tud jönni, és az oldalad idézhető tartalmat nyújt, megjelenhetsz a Claude élő válaszaiban. Ha tiltod, ez a lehetőség kiesik — függetlenül attól, hogy a ClaudeBot be van-e engedve vagy sem.
User-agent: * tiltást tartalmaz, az mindhárom botot egyszerre kizárja.Az OpenAI három botja: GPTBot, OAI-SearchBot, ChatGPT-User
Az OpenAI dokumentációja szintén három botot különböztet meg, amelyek szerkezetileg ugyanezt a logikát követik:
GPTBot — a GPT-modellek tanítóadatait gyűjti. A ClaudeBot pontos megfelelője: azért jön, hogy az oldal tartalma bekerülhessen a jövőbeli GPT-modellek tanítóanyagába. A 2023-as megjelenésekor a GPTBot lett az MI-botok tiltásának szimbolikus célpontja, ezért sokan csak ezt az egyet ismerik. Ha kizárólag ezt tiltod, az összes többi OpenAI-bot tovább dolgozik.
OAI-SearchBot — a ChatGPT élő keresési és forrásidézési funkcióját végzi. Ez az a bot, amelyik lehetővé teszi, hogy az oldalad megjelenjen a ChatGPT élő válaszaiban, amikor egy felhasználó valós időben kérdez rá valamire. Ez a bot a vásárlói láthatóság szempontjából a legkritikusabb az OpenAI oldaláról: ha valaki ma megkérdezi a ChatGPT-t, hogy melyik rendelőhöz forduljon, és a ChatGPT élő kereséssel válaszol, az OAI-SearchBot gyűjti össze a forrásokat. Ha ez a bot nincs beengedve, az oldal kimarad a válaszból — még akkor is, ha a GPTBot bejött, és évekig tanult belőle.
ChatGPT-User — a ClaudeBothoz hasonló felhasználói kontextusbot. Ha a ChatGPT alkalmazásban valaki beküld egy URL-t, a ChatGPT-User megy el elolvasni az oldalt a felhasználó nevében. A tiltása azt jelenti, hogy a ChatGPT-be beillesztett linkek tartalma nem lesz feldolgozható — a ChatGPT nem tud rövid összefoglalót adni az oldaladról, ha valaki megkéri rá.
Hogyan dönts tudatosan a hat botról?
Mielőtt bármelyik botot engedélyezed vagy tiltod, érdemes megválaszolnod két kérdést: Mit akarok hozzáadni az MI-modellek tréningjéhez? és Milyen élő láthatóságot akarok az MI-válaszokban? Ez a két döntés elválik egymástól, és együtt a legtöbb oldaltulajdonos számára egyértelmű válaszhoz vezet.
Ha a tartalmat nem akarod tréningadatként átadni, de szeretnéd, hogy az oldalad megjelenjen a ChatGPT és a Claude élő válaszaiban: tiltsd a GPTBotot és a ClaudeBotot, de engedd be az OAI-SearchBotot és a Claude-SearchBotot. Ez az a beállítás, amelyet 2026-ban sok iparági szakember javasol: a „tréning nélküli láthatóság” konfigurációja.
Ha mindkettőt — a tréninget és az élő láthatóságot — engedélyezni szeretnéd, engedd be mind a hat botot. Ha mindkettőt ki akarod zárni, az általános User-agent: * tiltás megteszi — de ekkor az oldal sem az MI-válaszokban, sem a tréninganyagban nem fog szerepelni.
A felosztás robots.txt szinten így néz ki:
# Tréningbotok (letiltás, ha nem szeretnéd a tréningadatot)
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
# Keresési és válaszbotok (engedd be, ha látható akarsz lenni az MI-válaszokban)
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
# Felhasználói kontextusbotok (általában érdemes beengedni)
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-User
Allow: /Fontos: az Allow: / sor nem kötelező, ha az oldal alapból nyitva van — erre csak akkor van szükség, ha egy korábban elhelyezett általános tiltás felülírását akarod jelezni. Ha nincs általános tiltás, a hiány önmagában is engedélyt jelent.
Mit nem oldanak meg a botbeállítások?
A hat bot pontos kezelése szükséges feltétel, de nem elégséges. Egy olyan oldal, amelynek nincs Google Business Profile-ja, amelynek nincs strukturált adata, vagy amelynek tartalmát a legtöbb MI-bot JavaScript nélkül nem látja, nem fog megjelenni a ChatGPT és a Claude válaszaiban csak attól, hogy beengedte a keresőbotokat. A bot beengedése a belépési jogosultságot adja meg; az idézhetőséget a tartalom és a struktúra dönti el.
Azt is érdemes pontosan látni, hogy a bothozzáférés és az MI-ajánlás nem ugyanaz. Az, hogy a Claude-SearchBot meg tudja látogatni az oldaladat, nem jelenti azt, hogy a Claude ajánlja is a vállalkozásodat. Az ajánlást — pontosan úgy, mint a hagyományos keresőknél — elsősorban a külső jelenlét dönti el: a vélemények száma, a katalógusbejegyzések, a hiteles forrásokon való megjelenés. A bothozzáférés a technikai alapot teremti meg; az ajánlás az erre épülő, hónapokon vagy éveken át felépített külső jelenlét eredménye. Erről részletesebben írok a GEO-pontszám és az MI-ajánlás különbségéről szóló cikkben.
A botbeállítások ellenőrzése ráadásul nem egyszeri feladat. Az MI-cégek rendszeresen új botokat vezetnek be, módosíthatják a meglévők nevét, és a robots.txt-re vonatkozó ajánlásaik is változnak. A robots.txt és az MI-botok alapjairól szóló cikkben részletesebben írtam arról, hogyan ellenőrizd a saját fájlodat — és hogyan értelmezd azt, amit benne találsz.
Hogyan nézd meg, ma melyik bot jön hozzád?
Az ideális módszer a szerver hozzáférési naplója: ebből látható, hogy melyik User-agent érkezett az oldalra, mikor, és milyen URL-t töltött le. A legtöbb tárhelyszolgáltatónál ez az adminisztrációs felületen elérhető — általában „access log” vagy „látogatók naplója” néven. Keresd benne a GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, ChatGPT-User és Claude-User karakterláncokat: a jelenlétük azt jelenti, hogy a bot hozzáfér, a hiányuk pedig azt, hogy vagy tiltva van, vagy egyszerűen még nem járt az oldalon.
Ha a szervernapló nem elérhető, a robots.txt közvetlen ellenőrzése is gyors képet ad: nyisd meg a böngészőben a sajatoldalad.hu/robots.txt URL-t, és nézd meg, szerepel-e benne valamelyik bot neve egy Disallow: / sor mögött. Ha a fájl üres vagy hiányzik, az általában azt jelenti, hogy a botok mind bejöhetnek — ez az alapértelmezett állapot. Ha ott van egy általános User-agent: * tiltás, az minden botot kizár, beleértve a keresőbotokat is. Ezt a konfigurációt a legtöbb esetben érdemes pontosítani.
A hét dimenziós MI-felkészültségi mérés, amelyet a módszertan oldalon írok le, a bothozzáférést is ellenőrzi — külön megnézem, hogy a legfontosabb botok be vannak-e engedve, és ha nem, melyik beállítás tiltja ki őket. Ha szeretnéd tudni, ma melyik bot jön az oldaladra, és a beállításaid pontosan mit engednek be vagy zárnak ki, a kapcsolat oldalon jelezd — elvégzem a gyorsellenőrzést, és megmutatom, mi az, ami a hat bot közül hiányzik.
A GPTBot letiltása azt jelenti: nem akarom, hogy a tartalmam a modellek tanítóanyagába kerüljön. Nem azt jelenti: nem akarok megjelenni a ChatGPT válaszaiban. A kettő között hat különböző bot áll — és pontosan kell tudnod, melyikkel mit mondasz.
