Inserito nell'intestazione di un codice di pagina (HEAD), il tag META del robot fornisce informazioni ai motori di ricerca.
Ha un forte impatto sull'indicizzazione SEO e sulla visibilità di ogni pagina grazie a una serie di linee guida per i crawler, e più in particolare per Googlebot e BingBot.
Se la presenza dei META tag del robot SEO è quindi essenziale, questi dovrebbero essere utilizzati con cognizione di causa, alcuni mirando in particolare a prevenire la comparsa di contenuti nelle SERP.
Basta fare clic con il pulsante destro del mouse su una pagina Web, selezionare “Visualizza sorgente” e quindi eseguire una ricerca per “robot” per individuare il tag meta robot.
Sarà simile al seguente:
<meta name="robots" content="noindex" /> <meta name="googlebot" content="noindex" /> <meta name="googlebot-news" content="noindex" /> <meta name="slurp" content="noindex" /> <meta name="msnbot" content="noindex" />
Il meta tag robots è importante perché fornisce al file robots.txt un ulteriore grado di protezione. Poiché non ha visto il file robots.txt, un crawler può ancora eseguire la scansione e indicizzare uno dei tuoi siti dopo aver seguito un collegamento esterno.
Questa scansione e indicizzazione è impedita dal meta tag robots.

Il META tag di ogni pagina di un sito può essere diverso e consistere in una o più direttive per l'attenzione di tutti o parte dei motori di ricerca.

La direttiva Noindex dice ai bot che la pagina dovrebbe essere saltata e non apparire nelle SERP.
È molto utilizzato per bloccare l'indicizzazione di un URL il cui contenuto potrebbe essere duplicato, evitando così qualsiasi rischio di sanzioni da parte di Google (in particolare Google Panda).
Al contrario, la direttiva index stabilisce per i motori di ricerca che si desidera l'indicizzazione dei contenuti.
Logicamente, ha poco interesse poiché in assenza di un'istruzione contraria (noindex), lo spider logicamente eseguirà la scansione della pagina.

La direttiva nofollow è probabilmente quella che divide maggiormente la community SEO.
In teoria, permette di indicare a Google Bots che non vogliamo che vengano seguiti i link all'interno della pagina, in particolare perché non hanno peso, nessuna autorità.
Tuttavia, si può anche pensare che questo non invii necessariamente un segnale positivo a Google, che comunque tratta le informazioni come vuole.
Viceversa, specificando la direttiva follow in un tag META del robot, viene espressamente richiesta l'indicizzazione SEO dei link.

Noarchive è una direttiva che dice a Google di non memorizzare nella cache la pagina.
Infatti, gli utenti non possono accedere a una versione precedente dell'url, il che è estremamente pratico nel contesto di un negozio che deve rivedere regolarmente i propri prezzi, ad esempio in base al tasso del dollaro.
La direttiva sull'archivio dice a Google che il proprietario del sito vuole che il suo URL sia memorizzato nella cache e accessibile dai motori di ricerca.
Per Bing è necessario utilizzare rispettivamente nocache e cache invece di noarchive e archive.

La direttiva none consente ai robot SEO di ignorare completamente la pagina.
Pertanto, non è indicizzato nelle SERP e i collegamenti a cui punta non vengono seguiti.
Viceversa, indicando all in un tag, indichiamo che vogliamo che la pagina sia indicizzata e che i link siano seguiti.
In pratica, non c'è motivo di aggiungerlo poiché, in assenza di una direttiva contraria, il crawler eseguirà logicamente queste due azioni.

Aggiungendo la direttiva Nosnippet in un tag META del robot, viene richiesto che gli snippet non vengano indicizzati nei risultati di ricerca e nemmeno memorizzati nella cache.

Con la direttiva notranslate, si richiede che non sia disponibile alcuna traduzione automatica per la pagina.

Unavailable_after: [date] è una direttiva un po' speciale poiché dice ai robot SEO che il contenuto può essere indicizzato nelle SERP, ma solo per un determinato periodo di tempo.
Oltre la data indicata non è più possibile accedervi.
Può essere molto utile, ad esempio, nel caso di una vendita flash.
Si noti inoltre che è possibile fornire direttive diverse a Google e Bing:
Robot META per tutti i motori;
Robot META solo all'attenzione di Google;
Robot META solo per Bing.

Questo indica al motore di ricerca di non includere la descrizione della pagina da Yahoo! Directory nello snippet di ricerca.

Impedisce ai motori di ricerca di visualizzare la descrizione della pagina DMOZ nello snippet di ricerca. La directory DMOZ è amministrata e gestita dall'Open Directory Project (ODP).
Il fatto che non tutti i motori di ricerca supportino tutti i valori complica ulteriormente le cose. Quindi ecco un bel tavolo per aiutarti:

Cos'è NoIndex?
NoIndex è un'istruzione SEO che indica agli spider dei motori di ricerca di non indicizzare la pagina web che lo contiene.
Alcune pagine non hanno interesse ad essere indicizzate.
L'implementazione di questa istruzione avviene direttamente nel codice HTML della pagina, e più precisamente nel meta tag “robots”.
I webmaster utilizzano NoIndex per impedire l'indicizzazione delle pagine
Ci sono diversi motivi per cui le pagine web non devono apparire nelle pagine dei risultati di ricerca (SERP) e quindi devono essere indicizzate. Può essere perché sono pagine PDF, perché sono interessate da contenuti duplicati o perché mancano di contenuto e devono evitare le sanzioni dei motori. La direttiva NoIndex è stata creata in modo che i webmaster possano dire ai robot dei motori di ricerca di non indicizzare determinati URL.
Dovrebbe essere posizionato nella parte del codice sorgente e aggiunto agli altri metadati.
Prende la forma
nel meta tag robots dell'intestazione della pagina, dove X = “index” o “noindex” e Y = “follow” o “nofollow”.
Anzi, prima diciamo al robot tramite il noindex di non indicizzare, ma bisognerà specificare in seguito se seguire o meno i link che si trovano nella pagina in questione quando ‘ci sono.
L'attributo follow invia i bot a seguire i collegamenti e l'attributo nofollow li ferma sulla pagina stessa.
Il NoIndex in SEO – Utile anche contro i contenuti duplicati!
Se la direttiva NoIndex è stata creata è perché il suo utilizzo serve non solo ad orientare i robot dei motori ma anche ad evitare le azioni penalizzanti di questi ultimi. Prendi l'esempio del contenuto duplicato. Quando un motore di ricerca scopre nel suo indice pagine o parti di pagine presenti su URL diversi, va a penalizzarne alcune nello spirito di scoraggiare il plagio dei contenuti. Vi sono tuttavia casi in cui è necessaria la duplicazione dei contenuti, ad esempio per la pubblicità di un prodotto su più pagine o su più siti.
Viene poi dato il mezzo al webmaster che se ne occupa per indicare ai robot che tali e tali pagine sono contenuti duplicati quindi da non indicizzare e può anche indicare la pagina originale il cui indirizzo è quello che viene chiamato URL canonico.
NoIndex viene anche utilizzato per non indicizzare le pagine dei risultati di ricerca interni di un sito Web, le pagine di impaginazione, i contenuti protetti da copyright e le pagine di categorie duplicate.
Viene utilizzato anche per impedire l'indicizzazione durante la fase in cui il webmaster carica una pagina solo per testarne la funzionalità.
È importante distinguere tra NoIndex e Disallow.
Il secondo è mostrato nel file robots.txt ed è una vera istruzione di ban.
A differenza del NoIndex che permette ai robot di consultare il contenuto della pagina, il Disallow blocca completamente l'accesso alla pagina.
Viene utilizzato principalmente per proteggere parti sensibili del sito o contenuti che non devono essere visualizzati.