- Pradinis
- Tinklaraštis
- Atsakymai
- Kokie DI robotai lanko svetainę ir ar juos blokuoti robots.txt
Kokie DI robotai lanko svetainę ir ar juos blokuoti robots.txt
Svetainę lanko trijų rūšių DI robotai - paieškos (OAI-SearchBot, Claude-SearchBot, PerplexityBot), modelių mokymo (GPTBot, ClaudeBot, Google-Extended žymė) ir vartotojo užklausų (ChatGPT-User, Claude-User, Perplexity-User) - ir jei norite būti DI atsakymuose, paieškos robotų robots.txt blokuoti negalima, o mokymo robotus galima uždrausti atskirai.
Ainis Jankauskas · · 5 min. skaitymo · Atsakymai
DI robotai vienoje lentelėje
Lemia buvimą DI atsakymuose
- OAI-SearchBot
- Claude-SearchBot
- PerplexityBot
Galima drausti atskirai
- GPTBot
- ClaudeBot
- Google-Extended (žymė)
Atidaro puslapį žmogaus prašymu
- ChatGPT-User
- Claude-User
- Perplexity-User
| Robotas | Kieno | Paskirtis | Jei uždrausite robots.txt |
|---|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT paieška | Svetainė nerodoma ChatGPT paieškos atsakymuose |
| GPTBot | OpenAI | Modelių mokymas | Turinys nenaudojamas mokymui; paieškai įtakos neturi |
| ChatGPT-User | OpenAI | Puslapis atidaromas vartotojo prašymu | Taisyklės gali būti netaikomos |
| OAI-AdsBot | OpenAI | Tikrina tik ChatGPT reklamai pateiktus puslapius | Aktualu tik reklamuojantis |
| Claude-SearchBot | Anthropic | Claude paieškos atsakymai | Gali sumažėti matomumas Claude paieškoje |
| ClaudeBot | Anthropic | Modelių mokymas | Būsimas turinys neįtraukiamas į mokymą |
| Claude-User | Anthropic | Puslapis atidaromas vartotojo klausimui | Gali sumažėti matomumas vartotojo paieškose |
| PerplexityBot | Perplexity | Perplexity paieškos rezultatai, ne mokymas | Perplexity rekomenduoja jį leisti, kad svetainė būtų rodoma rezultatuose |
| Perplexity-User | Perplexity | Vartotojo veiksmai | Dažniausiai ignoruoja robots.txt |
| Googlebot | Google paieška, įskaitant DI apžvalgas ir AI Mode | Svetainė dingsta iš paieškos | |
| Google-Extended | Žymė, ne atskiras robotas: Gemini mokymas ir pagrindimas | Google paieškai ir pozicijoms įtakos neturi |
Anthropic nurodo, kad visi jos robotai laikosi robots.txt. OpenAI ir Perplexity įspėja, kad vartotojo prašymu atidaromiems puslapiams (ChatGPT-User, Perplexity-User) taisyklės gali būti netaikomos.
Ar blokuoti: trys pasirinkimai
| Ko norite | Ką leisti | Ką drausti |
|---|---|---|
| Būti DI atsakymuose ir neribotis | Visus | Nieko, tik administravimo sritį |
| Būti DI atsakymuose, bet ne modelių mokyme | OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, Googlebot | GPTBot, ClaudeBot, Google-Extended |
| Nebūti DI nei mokyme, nei paieškoje | Googlebot (kitaip dingsite ir iš Google) | Visus DI robotus; bet tada DI atsakymuose jūsų nebus |
ainis.space leidžia visus DI robotus atskirais blokais: mums svarbiau būti rekomenduojamiems, nei saugoti viešus paslaugų aprašymus nuo mokymo. Verslui su unikaliu mokamu turiniu sprendimas gali būti kitas - tai verslo, ne techninis klausimas.
User-agent: OAI-SearchBotChatGPT paieškaUser-agent: Claude-SearchBotClaude paieškaUser-agent: Claude-UserUser-agent: PerplexityBotPerplexity paieškaUser-agent: GooglebotGoogle paieška ir DI apžvalgosAllow: /lieka DI atsakymuoseUser-agent: GPTBotOpenAI mokymasUser-agent: ClaudeBotAnthropic mokymasUser-agent: Google-ExtendedGemini mokymas ir pagrindimasDisallow: /turinys nenaudojamas mokymui
Pavyzdys: blokuoja GPTBot, bet ChatGPT cituoja
Vienos Lietuvos konversijų optimizavimo agentūros robots.txt uždraudžia GPTBot, Google-Extended ir CCBot (tikrinta 2026-11-08). Vis tiek mūsų sekamoje užklausoje „konversijų optimizavimo agentūra lietuvoje“ ChatGPT šios agentūros svetainę cituoja.
Priežastis - OAI-SearchBot jos robots.txt leidžiamas, o būtent šis robotas lemia buvimą ChatGPT paieškos atsakymuose. Tai sutampa su OpenAI dokumentacija: GPTBot ir OAI-SearchBot nustatymai nepriklausomi.
robots.txt pavyzdžiai
| Tikslas | Įrašas robots.txt |
|---|---|
| Leisti ChatGPT paiešką | User-agent: OAI-SearchBotAllow: / |
| Uždrausti OpenAI mokymą | User-agent: GPTBotDisallow: / |
| Uždrausti Anthropic mokymą | User-agent: ClaudeBotDisallow: / |
| Uždrausti Gemini mokymą ir pagrindimą | User-agent: Google-ExtendedDisallow: / |
Kiekvienam subdomenui robots.txt reikia atskirai. Pakeitimą ChatGPT paieškai OpenAI pritaiko maždaug per 24 valandas.
Kodėl robots.txt neužtenka
robots.txt yra prašymas, bet serveris gali robotą išmesti dar prieš jam perskaitant failą. CDN „bot“ apsauga, ugniasienė ar hostingo filtras robotui grąžina klaidą 403, iššūkio puslapį arba nutraukia ryšį - ir tada robots.txt leidimas nieko nebereiškia.
- 01DI robotas
Kreipiasi į svetainę, pavyzdžiui GPTBot vardu.
- 02Ugniasienė ar CDN
Gali grąžinti 403, iššūkio puslapį arba nutraukti ryšį.
- 03robots.txt
Perskaitomas tik tada, kai serveris robotą įleido.
- 04Turinys
Robotas gauna puslapio HTML ir gali jį cituoti.
Todėl nemokamas MINI auditas ir DI matomumo patikra ne tik skaito robots.txt, bet ir kreipiasi į puslapį GPTBot vardu: jei gauna klaidą, parodo, kad blokuoja serveris. Anthropic taip pat nerekomenduoja blokuoti robotų pagal IP adresus, nes tada robotas negali perskaityti net robots.txt.
Šaltiniai
Išoriniai faktai patikrinti 2026-11-08.
- 01
- 02
- 03
- 04
- 05
- 06Mūsų DI matomumo sekimas: ChatGPT, 12 užklausų, 2026-10-11 - 2026-11-07, kiekvienos užklausos cituoti URL.
- 07Lietuvos konversijų optimizavimo agentūros robots.txt, patikrinta 2026-11-08.
Dažniausi klausimai
Neradote atsakymo?
Parašykite arba rezervuokite pokalbį - atsakysime į visus klausimus per 1 darbo dieną.
Rezervuoti 30 min. pokalbįKokie DI robotai lanko svetainę?
Svetainę lanko paieškos robotai (OAI-SearchBot, Claude-SearchBot, PerplexityBot), modelių mokymo robotai (GPTBot, ClaudeBot) ir vartotojo užklausų robotai (ChatGPT-User, Claude-User, Perplexity-User); Google DI apžvalgoms naudoja įprastą Googlebot.
Ar blokuoti GPTBot?
Tai verslo sprendimas: GPTBot renka turinį OpenAI modelių mokymui, ir jį uždraudus ChatGPT paieška svetainę vis tiek gali rodyti, jei leidžiamas OAI-SearchBot.
Kuo GPTBot skiriasi nuo OAI-SearchBot?
GPTBot renka turinį OpenAI modelių mokymui, o OAI-SearchBot - ChatGPT paieškai; OpenAI juos valdo atskirai, todėl galima leisti vieną ir uždrausti kitą.
Ar Google-Extended draudimas pašalina svetainę iš Google AI apžvalgų?
Ne, Google-Extended valdo turinio naudojimą Gemini modeliams ir, pasak Google, neturi įtakos buvimui Google paieškoje; AI apžvalgas valdo Googlebot taisyklės ir žymos nosnippet, max-snippet bei noindex.
Kaip patikrinti, ar svetainė blokuoja DI robotus?
Atidarykite jusudomenas.lt/robots.txt ir ieškokite Disallow prie DI robotų vardų, o serverio ar ugniasienės blokavimą parodo nemokamas MINI auditas, kuris kreipiasi į puslapį GPTBot vardu.
Per kiek laiko įsigalioja robots.txt pakeitimai?
OpenAI nurodo, kad ChatGPT paieškos sistemoms prisitaikyti po robots.txt pakeitimo gali prireikti apie 24 valandų; kiti robotai pakeitimą pamato kito apsilankymo metu.
Kur tai pritaikome
DI matomumo patikra
0 €Ar DI sistemos perskaito svetainę: robots.txt, ugniasienė, turinys be JavaScript ir dar keturi dalykai.
Nemokamas MINI auditas
0 €19 rodiklių: greitis, DI matomumas (GEO), pagrindai.
GEO optimizavimas
nuo 299 €/mėn.DI paieškos optimizavimas: prieiga, atsakymų turinys, subjekto duomenys, išoriniai šaltiniai.
Skaitykite toliau
GEO (DI paieškos optimizavimas) - darbas, kad ChatGPT, Gemini ir Google DI apžvalgos įmonę minėtų ir rekomenduotų.
AEO (atsakymų optimizavimas) - turinio rašymas taip, kad jūsų sakinys taptų atsakymu Google ir DI asistentuose.
Google AI apžvalgos (AI Overviews) ir AI Mode - DI atsakymai Google paieškoje su nuorodomis.
Patikrinkite savo svetainę per 2 minutes
Nemokamas MINI auditas parodo bendrą balą, serverio greitį ir 19 rodiklių, iš jų DI matomumo (GEO) grupę. El. pašto adreso prašome tik tada, kai pamatote rezultatą.