Tag "robots.txt"

Google propone nuove direttive ufficiali per il file robots.txt

Una delle attività che non si vedono lato utente nella gestione di un sito web, ma che invece risultano utilissime, è sicuramente la compilazione del file robots.txt. Questo file, creato per la prima volta nel 1994 da Martijn Koster (anche sviluppatore di Aliweb, uno dei primissimi motori di ricerca), permette di dialogare con i webbot della rete. Il file robots.txt segnala loro quali percorsi del sito devono essere esclusi dalla