16 novembre 2026 · ChimpanSEO

Che cosa controlla davvero robots.txt?

llms.txt e robots.txt svolgono compiti diversi, e confonderli porta a decisioni sbagliate. robots.txt è un protocollo formalizzato (RFC 9309) che indica ai crawler quali parti del sito evitare, mentre llms.txt è un file Markdown che seleziona contenuti per i sistemi di intelligenza artificiale al momento dell’inferenza. Nessuno dei due impone qualcosa da solo: robots.txt funziona solo perché i crawler conformi scelgono di rispettarlo, e llms.txt è una proposta, non uno standard. Comprendere questa distinzione è il primo passo per controllare come i sistemi di intelligenza artificiale interagiscono con il tuo sito nel 2026.

Che cosa controlla davvero robots.txt?

robots.txt è un file di testo semplice nella radice del dominio che indica ai crawler quali URL possono recuperare, ma non ha alcun meccanismo tecnico di imposizione alle spalle.

Secondo Kinsta, robots.txt è formalizzato come RFC 9309 e funziona solo perché i crawler decidono di seguirlo. AIOSEO lo dice chiaramente: robots.txt è un protocollo, non un meccanismo di imposizione. Un bot che ignora le tue regole può comunque raggiungere qualsiasi URL pubblico.

Il file stesso segue regole rigide. Prerender sottolinea che robots.txt deve essere codificato in UTF-8, un file per sito, con regole sensibili alle maiuscole e gruppi che iniziano con User-agent seguiti da righe Allow e Disallow. Se sbagli la sintassi, i crawler conformi potrebbero interpretare male le tue intenzioni.

A cosa serve llms.txt?

llms.txt è un file Markdown su tuodominio.com/llms.txt che offre ai modelli di intelligenza artificiale una mappa strutturata e selezionata dei tuoi contenuti migliori nel momento in cui rispondono a una richiesta.

Similarweb spiega che llms.txt si rivolge al momento dell’inferenza, quando un modello linguistico o un agente sta attivamente rispondendo a un utente, non all’addestramento o all’indicizzazione ampia del web. La documentazione di Prerender descrive il file complementare llms-full.txt come un file di testo completo per modelli con finestre di contesto ampie o sistemi RAG.

La specifica ufficiale, proposta da Jeremy Howard di Answer.AI, definisce una struttura semplice:

  • Un titolo H1 in cima
  • Un riepilogo in blockquote
  • Sezioni H2 opzionali
  • Un elenco Markdown di link con descrizioni
  • Una sezione opzionale “## Optional” per i link a priorità inferiore

llms.txt vs robots.txt: qual è la vera differenza?

robots.txt è controllo degli accessi e llms.txt è selezione dei contenuti: robots.txt limita ciò che i crawler recuperano, mentre llms.txt consiglia cosa i sistemi di intelligenza artificiale dovrebbero leggere e citare.

Similarweb inquadra chiaramente il trio: robots.txt gestisce il controllo degli accessi, sitemap.xml gestisce la scoperta e llms.txt gestisce la selezione dei contenuti. La specifica afferma esplicitamente che llms.txt convive con robots.txt e sitemap.xml senza sostituirli. AIOSEO conferma che aggiungere o rimuovere una pagina da llms.txt non concede né revoca il permesso di eseguire la scansione, perché quel compito resta a robots.txt.

File Compito principale Imposizione Stato
robots.txt Controllo degli accessi per i crawler Nessuna, si basa sulla conformità dei crawler RFC 9309
llms.txt Selezione dei contenuti per l’IA al momento dell’inferenza Nessuna, solo consultiva Proposta del 2024, non uno standard
sitemap.xml Scoperta degli URL Nessuna, solo consultiva Convenzione ampiamente supportata

La bozza ARP v2.0 aggiunge una distinzione utile: robots.txt controlla l’accesso dei crawler mentre ARP no, e llms.txt fornisce testo grezzo mentre ARP fornisce affermazioni strutturate. Questa impostazione rafforza la separazione tra permesso e presentazione.

Bloccare un URL in robots.txt lo rimuove dalle risposte dell’IA?

No, bloccare un URL in robots.txt non garantisce l’esclusione dalle risposte generate dall’intelligenza artificiale o dai risultati di ricerca, perché la scansione e l’indicizzazione sono processi separati.

Prerender afferma che un controllo più forte richiede direttive noindex, protezione con password o la rimozione completa della pagina. AIOSEO fa lo stesso ragionamento su Google: un URL bloccato può comunque essere scoperto tramite link esterni e restare nell’indice. Se il tuo obiettivo è la rimozione, robots.txt da solo non ti porterà lì.

I principali crawler di IA usano davvero llms.txt?

La maggior parte dei principali crawler di intelligenza artificiale ignora in larga misura llms.txt, e l’adozione si attesta intorno al 9-10 percento dei siti secondo le rilevazioni attuali.

Kinsta riporta che GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot e Google-Extended in larga parte non recuperano llms.txt. Gli stessi sostenitori della ricerca di Google hanno dichiarato apertamente che llms.txt non è usato come segnale di posizionamento o di scansione, paragonandolo al vecchio meta tag keywords. Similarweb riporta la stessa posizione pubblica dei dipendenti Google: nessun sistema di IA generativa usa attualmente llms.txt.

Ciò non rende il file inutile. Significa che dovresti trattarlo come documentazione per gli agenti che scelgono di leggerlo, non come leva di posizionamento. Pubblicalo per i sistemi che lo rispettano e mantieni aspettative calibrate.

Che cosa impone davvero le tue preferenze?

La protezione dai bot è l’unico livello che blocca, sfida o limita davvero la frequenza di un crawler che ignora le tue preferenze, perché robots.txt e llms.txt sono richieste, non controlli.

Kinsta indica Kinsta Bot Protection e Cloudflare AI Crawl Control come gli strumenti che applicano un’imposizione reale. Se un crawler ignora il tuo robots.txt, sono quei sistemi a fermarlo. Un’architettura pratica è questa:

  1. Scrivi un robots.txt valido in UTF-8 con gruppi chiari User-agent, Allow e Disallow.
  2. Aggiungi direttive noindex o protezione con password per le pagine che devi davvero escludere.
  3. Pubblica llms.txt e llms-full.txt per guidare gli agenti verso i tuoi contenuti migliori.
  4. Attiva la protezione dai bot al margine per imporre ciò che i file solo richiedono.

1 Scrivi un robots.txtvalido in UTF-8 con… 2 Aggiungi direttivenoindex o password… 3 Pubblica llms.txte llms-full.txt per… 4 Attiva la protezionedai bot al margine per…

La bozza ARP v2.0 nota che ARP usa la convenzione /.well-known/, lo stesso approccio di security.txt, il che mostra come i file leggibili dalle macchine più recenti vengano standardizzati mentre robots.txt resta la base del controllo degli accessi.

Domande frequenti

Posso usare llms.txt invece di robots.txt?

No. llms.txt seleziona contenuti per i sistemi di intelligenza artificiale e non controlla la scansione. Il permesso di recuperare un URL resta a robots.txt, e la specifica di llms.txt afferma esplicitamente che i due file convivono invece di sostituirsi.

Google usa llms.txt per il posizionamento?

No. I sostenitori della ricerca di Google hanno dichiarato pubblicamente che llms.txt non è usato come segnale di posizionamento o di scansione e lo hanno paragonato al vecchio meta tag keywords. Trattalo come guida per gli agenti, non come leva SEO.

Qual è la differenza tra llms.txt e llms-full.txt?

llms.txt è un elenco strutturato di link con descrizioni, mentre llms-full.txt è un file di testo completo pensato per modelli con finestre di contesto ampie o sistemi RAG che necessitano dell’intero contenuto in un unico posto.

Bloccare una pagina in robots.txt la rimuove da Google?

Non necessariamente. Scansione e indicizzazione sono separate, e un URL bloccato può comunque essere scoperto tramite link esterni. Usa noindex, protezione con password o la rimozione se hai bisogno che la pagina sparisca dai risultati.

Se gestisci un sito che i sistemi di intelligenza artificiale leggono, tratta questi file come livelli anziché alternative. robots.txt stabilisce le regole, sitemap.xml favorisce la scoperta, llms.txt seleziona ciò che conta e la protezione dai bot impone i confini. Verifica la tua architettura nel 2026 e assicurati che ogni livello faccia il proprio compito.

Per approfondire

Questo articolo è stato scritto e pubblicato con ChimpanSEO

Scrivi articoli SEO/AEO e pubblicali su WordPress: di solito servono 1-2 minuti. Prova gratis, nessuna carta richiesta.

Articoli correlati