Perché molti siti bloccano i bot AI (senza volerlo)
Durante il nostro workshop GEO AI Search con clienti B2B, abbiamo fatto un test rapido. Abbiamo chiesto a ChatGPT di verificare l’accesso al sito di un’azienda manifatturiera. Risultato:
- Search Bot: accesso consentito
- ChatGPT User: accesso consentito
- ChatGPT Crawler: accesso bloccato
Nessuno in azienda aveva mai deciso consapevolmente di bloccare GPTBot. Era una configurazione ereditata, probabilmente impostata da un fornitore hosting o da un plugin di sicurezza troppo zelante. Il sito era invisibile al bot che addestra ChatGPT. Tradotto: quando un potenziale cliente cercava informazioni sul settore tramite AI, quel brand non esisteva.
Le cause principali di questo problema sono tre:
Configurazione predefinita del server
Molti hosting provider applicano regole robots.txt restrittive per “proteggere” i clienti da scraping e sovraccarico. Bloccano user-agent generici o sconosciuti, includendo accidentalmente i bot AI.
Plugin di sicurezza WordPress
Estensioni come Wordfence, Sucuri o iThemes Security possono bloccare automaticamente crawler non riconosciuti. GPTBot è relativamente recente (2023) e alcuni plugin non lo hanno ancora inserito nelle whitelist.
Paura dello scraping
Alcune aziende temono che consentire l’accesso ai bot AI significhi “regalare” i propri contenuti. È un errore concettuale se il sito è fatto per farsi conoscere e non continiene materiale confidenziale. I bot AI non copiano le pagine come fa GoogleBot. Estraggono significati, non HTML. Bloccarli significa rinunciare alla possibilità di essere citati come fonte autorevole.
Verificare se il tuo sito è accessibile ai bot AI richiede 30 secondi. Vai su ChatGPT, attiva la modalità di navigazione web e chiedi: “Puoi leggere il mio sito [URL]?”. Se ricevi un errore di accesso, hai un problema da risolvere immediatamente.