Cos'è Robots.txt?

Robots.txt è un file standard utilizzato dai siti Web per comunicare con i web crawler e altri robot Web per informarli su quali pagine Web e aree del sito Web non devono essere elaborate, scansionate o indicizzate nei risultati dei motori di ricerca.

Cosa fa Robot.txt?

Un file robots.txt indica ai robot web, noti anche come crawler, quali pagine o file il proprietario del dominio non vuole che vengano "scansionati". I bot visitano il tuo sito web e poi indicizzano (salvano) le tue pagine web e i tuoi file prima di inserirli nelle pagine dei risultati dei motori di ricerca.

Se non desideri che determinate pagine o file vengano elencati da Google e altri motori di ricerca, devi bloccarli utilizzando il file robots.txt.

Puoi verificare se il tuo sito web ha un file robots.txt aggiungendo /robots.txt subito dopo il tuo nome di dominio nella barra degli indirizzi in alto:

Come funziona Robot.txt?

Prima che un motore di ricerca esegua la scansione del tuo sito web, esamina il tuo file robots.txt per istruzioni su quali pagine possono scansionare e indicizzare nei risultati dei motori di ricerca.

I file Robots.txt sono utili se desideri che i motori di ricerca non indicizzino:

1) Pagine duplicate o rotte sul tuo sito web.

2) Pagine dei risultati di ricerca interna.

3) Alcune aree del tuo sito web o un intero dominio.

4) Alcuni file sul tuo sito web come immagini e PDF.

5) Pagine di accesso.

6) Messa in scena di siti Web per gli sviluppatori.

7) Il tuo XML Mappa del sito.

L'utilizzo dei file robots.txt ti consente di eliminare le pagine che non aggiungono alcun valore, quindi i motori di ricerca si concentrano invece sulla scansione delle pagine più importanti. I motori di ricerca hanno un “budget di scansione” limitato e possono eseguire la scansione solo di un certo numero di pagine al giorno, quindi vuoi dare loro le migliori possibilità di trovare rapidamente le tue pagine bloccando tutti gli URL irrilevanti.

Puoi anche implementare un ritardo di scansione, che dice ai robot di attendere qualche secondo prima di scansionare determinate pagine, in modo da non sovraccaricare il tuo server. Fai attenzione perché Googlebot non riconosce questo comando, quindi ottimizza il budget di scansione per una soluzione più solida e a prova di futuro.

Come creare un file Robots.txt?

Se al momento non disponi di un file robots.txt, è consigliabile crearne uno il prima possibile. Per fare ciò, è necessario:

1) Crea un nuovo file di testo e chiamalo “robots.txt” – Utilizza un editor di testo come il programma Blocco note su PC Windows o TextEdit per Mac e quindi “Salva con nome” un file delimitato da testo, assicurandoti che l'estensione di il file si chiama “.txt”.

2) Caricalo nella directory principale del tuo sito web – Di solito è una cartella a livello root chiamata "htdocs" o "www" che la fa apparire direttamente dopo il tuo nome di dominio.

3) Crea un file robots.txt per ciascun sottodominio – Solo se utilizzi dei sottodomini.

4) Test: controlla il file robots.txt inserendo tuodominio.com/robots.txt nella barra degli indirizzi del browser.

Per saperne di più qui.