llms.txt, robots.txt és az MI-robotok: technikai alapok tulajdonosoknak

Két apró szövegfájl dönti el, hogy a mesterséges intelligencia egyáltalán elolvashatja-e az oldalát. Az egyik a robots.txt, ami megmondja a robotoknak, hova mehetnek be; a másik az llms.txt, ami az MI-nek kínálja fel a lényeget. És itt jön a meglepő rész: sok magyar oldal véletlenül, egyetlen rossz sorral kizárja azokat a robotokat, amelyeket a ChatGPT és a Gemini használ. Nem rossz szándékból — egy túlbuzgó beállítás, egy sablonból átvett sor, és a kapu becsukódik.

Nem kell fejlesztőnek lennie ahhoz, hogy ezt megértse, és ahhoz sem, hogy ellenőrizze. Elmagyarázom, mi ez a két fájl, miért számít, és hogyan nézheti meg a sajátját öt perc alatt, böngészőből. A végén pontosan tudni fogja, hol keresse a hibát.

Mi az a robots.txt, és kit enged be?

A robots.txt egy egyszerű szövegfájl a webhely gyökerében, ami megmondja az automatikus látogatóknak — a robotoknak —, hová mehetnek be, és hová nem. Régóta létezik, eredetileg a keresőmotorok miatt. Az új benne az, hogy ma már az MI-cégek robotjai is ezt olvassák először, mielőtt egyetlen oldalt is letöltenének. Ha itt tiltás áll, a robot tisztességesen visszafordul — és a tartalma kimarad.

Érdemes név szerint ismerni a legfontosabb MI-robotokat, mert a nevük alapján lehet őket beengedni vagy kizárni:

• GPTBot — az OpenAI robotja, ami a modellek tanításához gyűjt tartalmat.
• OAI-SearchBot — szintén az OpenAI-tól, de ez a ChatGPT keresési funkcióját szolgálja: ez teszi lehetővé, hogy az oldal megjelenjen a válaszokban hivatkozott forrásként.
• ClaudeBot — az Anthropic robotja a Claude modellekhez (a keresési forgalmat külön robot, a Claude-SearchBot intézi).
• PerplexityBot — a Perplexity robotja, amely a saját közlése szerint kifejezetten a forrásként való megjelenítést szolgálja, nem a modelltanítást.
• Google-Extended — a Google jelzőtokenje, amellyel külön szabályozható, hogy a tartalom hozzájáruljon-e a Gemini modelljeihez. Fontos részlet: ennek tiltása a hivatalos dokumentáció szerint a hagyományos Google-keresést nem érinti — csak a generatív felhasználást.

Itt egy különbségtételt érdemes őszintén kimondani, mert sok zavar ered belőle. A tréning és a válaszidézés nem ugyanaz. A tréninget végző robotok (mint a GPTBot) azért gyűjtenek, hogy a modellek tanuljanak az oldalból; a kereső- és válaszrobotok (mint az OAI-SearchBot vagy a PerplexityBot) azért jönnek, hogy a tartalmat élőben idézzék, forrásmegjelöléssel. Sok tulajdonos jogosan nem szeretné, ha a tartalma a modellek tanítóanyagába kerülne — de közben szeretne megjelenni az MI válaszaiban. Ez a kettő külön beállítható: lehet tiltani a tréninget, és engedni a keresést. A nemzetközi szakmai konszenzus ma épp efelé hajlik.

Ha az MI-robotok elé akadály kerül, az minden további erőfeszítést értelmetlenné tesz. Hiába szép a honlap, hiába gondos a tartalom — ha a kapu zárva van, a modell az oldalt el sem éri. Ezért érdemes ezzel kezdeni, mielőtt bárki bonyolultabb dologba fog.

Mi az llms.txt, és kell-e Önnek?

Az llms.txt egy újabb keletű ötlet: szintén egy szövegfájl a webhely gyökerében, de a célja más. Míg a robots.txt azt mondja meg, hová nem mehet a robot, addig az llms.txt udvariasan felkínálja az MI-nek a lényeget — egy rendezett, tiszta tartalomjegyzéket arról, mik a webhely legfontosabb oldalai, és hol találja a megbízható leírásokat. Olyan, mintha az oldal a vendég kezébe adná a tartalomjegyzéket, ahelyett, hogy a vendég a polcokon keresgélne.

Mit tartalmazzon? A gyakorlatban egy rövid, ember által is olvasható listát: a vállalkozás nevét és egymondatos leírását, majd a kulcsoldalakra mutató hivatkozásokat — szolgáltatások, rólunk, kapcsolat, a fontosabb cikkek —, mindegyikhez egy tömör magyarázattal. Semmi varázslat, semmi kód. Egy jól szerkesztett tartalomjegyzék, az MI szemszögéből.

Tehát kell-e Önnek? Ha a robots.txt rendben van, és van fél szabad órája, akkor megéri. De a sorrend fontos: előbb a kapu, csak utána a tartalomjegyzék. Egy llms.txt mit sem ér, ha közben a robotok be sem jutnak az oldalra.

Hogyan ellenőrizze a sajátját 5 perc alatt?

Ehhez nem kell fejlesztő, sem fizetős eszköz. Három lépés, böngészőből:

1. Nyissa meg a robots.txt fájlt. A böngésző címsorába írja be a saját címét, a végére pedig ezt: /robots.txt — vagyis például azoldalam.hu/robots.txt. Egyszerű szöveget fog látni, vagy egy „nincs ilyen oldal” üzenetet.
2. Keresse a tiltó sorokat. Nézze át, szerepel-e benne a Disallow: / egy User-agent: * alatt — ez mindenkit kizár. Keressen rá az MI-robotok nevére is (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot): ha bármelyik mögött Disallow: / áll, az a robot ki van tiltva. Ha a fájl üres, hiányzik, vagy csak Allow sorokat tartalmaz, az általában jó jel.
3. Tegyen egy renderelhetőségi gyorspróbát. Ez azt méri, hogy a tartalom kód futtatása nélkül is látszik-e — mert a legtöbb MI-robot nem futtat JavaScriptet. Nyissa meg a kezdőlapját, kattintson jobb gombbal egy üres részen, és válassza az „oldal forrásának megtekintése” lehetőséget. Ha a megnyíló szövegben megtalálja a honlap valódi mondatait, szövegét, akkor a robot is látja. Ha viszont főként üres kódvázat lát, és a tartalom sehol — az figyelmeztető jel.

Ennyi az öt perc. A három lépésből kiderül, hogy a kapu nyitva van-e, és hogy az MI lát-e bármit az oldalból. Ezzel többet fog tudni a saját helyzetéről, mint sok drága jelentésből.

Fontos azonban a helyén kezelni, mit mond ez a próba, és mit nem. Az, hogy az MI-robotok be tudnak jönni, csak a belépő — nem azonos azzal, hogy az MI ajánlani fogja a vállalkozást. Az ajánlást elsősorban a weboldalon kívüli jelenlét dönti el: a vélemények, a független említések, a hiteles forrásokban való szereplés. A versenytársai sem azért láthatók a mesterséges intelligencia előtt, mert ügyesebb a robots.txt-jük — hanem mert nagyobb a külső lábnyomuk. A cél az, hogy Ön szándékosan építse fel azt a jelenlétet, amit ma sokan a véletlenre bíznak. Erről részletesen írok abban, hogy miért nem egyenlő a GEO-pontszám az MI-ajánlással, a teljes mérési logikát pedig a módszertan oldalon foglalom össze.

Ez a két fájl tehát nem a verseny vége, hanem a rajtvonal. Ahol az MI-láthatóság elkezdődhet — vagy ahol csendben elakad. Ha a fenti próbán elakad, vagy nem biztos benne, mit lát, írjon a kapcsolat oldalon, és készítek egy ingyenes mini-ellenőrzést a robots.txt-jéről. Megnézem, hogy a kapu nyitva áll-e azoknak a robotoknak, amelyekre a vásárlói nap mint nap kérdeznek. Aki a hagyományos keresés és az MI-keresés különbségére kíváncsi, annak a SEO és GEO összevetése ad keretet, a teljes folyamatot pedig a hogyan működik oldalon követheti végig.

Kindl Dávid · Közzétéve: 2026. június 4.