Glossário
robots.txt
Em uma frase
O robots.txt é um arquivo na raiz de um site (no endereço /robots.txt) que diz aos robôs de busca e de IA quais partes do site eles podem ou não visitar.
Em palavras simples: É a "placa na porta" do site: diz quais robôs podem entrar e onde.
Na prática
Um site pode bloquear sem querer os robôs que alimentam as respostas das IAs. Às vezes é uma configuração padrão da hospedagem ou de um plugin. Resultado: a empresa some de ferramentas que a pessoa nem sabia que estavam bloqueadas.
Vale conferir: digite o endereço do seu site seguido de /robots.txt e veja o que aparece. Se tiver dúvida, pergunte a quem cuida do site.
Um exemplo concreto
A OpenAI informa que o robô OAI-SearchBot é o que coloca sites nos resultados de busca do ChatGPT. Se o robots.txt bloqueia esse robô, as páginas não entram nessas respostas. Já o GPTBot é o robô de treinamento: dá para bloqueá-lo sem sair da busca do ChatGPT.
Para quem quer os detalhes
O robots.txt é um pedido, não uma tranca: robôs sérios respeitam, outros não. Cada empresa de IA publica os nomes dos próprios robôs (por exemplo, GPTBot e OAI-SearchBot da OpenAI, ClaudeBot da Anthropic, PerplexityBot da Perplexity e Google-Extended do Google). Serviços como a Cloudflare também podem bloquear robôs de IA fora do robots.txt, então vale olhar os dois lugares.
Fontes
No blog
Como fazer minha empresa aparecer no ChatGPT?
Não existe um botão para cadastrar a empresa no ChatGPT. Quando alguém pede uma indicação, ele procura na internet e responde com o que encontra. Por isso o caminho é deixar as informações do seu negócio claras, iguais em todo lugar e fáceis de achar.
