Igiene tecnica & entità
Controllo deterministico del sito: JSON-LD, robots.txt e crawler AI, llms.txt, sitemap, elementi identificativi. È ciò che puoi controllare e migliorare.
L'accesso dei crawler AI è verificato con richieste di test che usano il loro user agent, ma partono dal nostro server: il test simula il nome del crawler, non l'indirizzo da cui si collega davvero. Un blocco rilevato va verificato con chi gestisce il sito; un esito senza blocchi non dimostra che l'accesso sia consentito.