Situada en el encabezado de un código de página (HEAD), la etiqueta META del robot proporciona información a los motores de búsqueda.
Tiene un fuerte impacto en la indexación SEO y la visibilidad de cada página gracias a una serie de pautas para rastreadores, y más particularmente para Googlebot y BingBot.
Si, por tanto, la presencia de etiquetas META de robot SEO es esencial, deben utilizarse con pleno conocimiento de los hechos, algunas con el objetivo en particular de evitar la aparición de contenido en las SERP.
Simplemente haga clic con el botón derecho en una página web, seleccione «Ver código fuente» y luego realice una búsqueda de «robots» para ubicar la metaetiqueta robots.
Se parecerá a lo siguiente:
<meta name="robots" content="noindex" /> <meta name="googlebot" content="noindex" /> <meta name="googlebot-news" content="noindex" /> <meta name="slurp" content="noindex" /> <meta name="msnbot" content="noindex" />
La metaetiqueta robots es importante porque le da al archivo robots.txt un grado adicional de protección. Debido a que no ha visto el archivo robots.txt, un rastreador aún puede rastrear e indexar uno de sus sitios después de seguir un vínculo externo.
La metaetiqueta robots impide este rastreo e indexación.

La etiqueta META de cada página de un sitio puede ser diferente y constar de una o más directivas para la atención de todos o parte de los motores de búsqueda.

La directiva Noindex le dice a los bots que la página debe omitirse y no aparecer en las SERP.
Es muy utilizado para bloquear la indexación de una URL cuyo contenido puede estar duplicado, evitando así cualquier riesgo de penalización de Google (en particular Google Panda).
Por el contrario, la directiva de índices estipula a los motores de búsqueda que se desea la indexación de contenido.
Lógicamente, tiene poco interés ya que en ausencia de una instrucción contraria (noindex), la araña rastreará lógicamente la página.

La directiva nofollow es probablemente la que más divide a la comunidad SEO.
En teoría, permite indicar a Google Bots que no queremos que se sigan los enlaces dentro de la página, en particular porque no tienen peso, no tienen autoridad.
Sin embargo, también se puede pensar que esto no necesariamente envía una señal positiva a Google, que de todos modos, trata la información como quiere.
Por el contrario, al especificar la directiva de seguimiento en una etiqueta META de robot, se solicita expresamente la indexación SEO de los enlaces.

Noarchive es una directiva que le dice a Google que no almacene la página en caché.
De hecho, los usuarios no pueden acceder a una versión anterior de la url, lo que resulta eminentemente práctico en el contexto de una tienda que tiene que revisar periódicamente sus precios, por ejemplo según el tipo de cambio del dólar.
La directiva de archivo le dice a Google que el propietario del sitio quiere que los motores de búsqueda puedan acceder a su URL en caché.
Para Bing, nocache y cache deben usarse respectivamente en lugar de noarchive y archive.

La directiva none permite que los robots de SEO ignoren la página por completo.
Por tanto, no está indexado en las SERPs y no se siguen los enlaces a los que apunta.
Por el contrario, al indicar todo en una etiqueta, indicamos que queremos que se indexe la página y que se sigan los enlaces.
En la práctica, no hay razón para agregarlo ya que, en ausencia de una directiva contraria, el rastreador lógicamente realizará estas dos acciones.

Al agregar la directiva Nosnippet en una etiqueta META de robot, se solicita que los fragmentos no se indexen en los resultados de búsqueda y tampoco se almacenen en caché.

Con la directiva notranslate, se solicita que no haya traducción automática disponible para la página.

Unavailable_after: [fecha] es una directiva algo especial, ya que le dice a los robots de SEO que el contenido se puede indexar en SERP, pero solo durante un tiempo determinado.
Más allá de la fecha especificada, ya no hay posibilidad de acceder a ella.
Puede resultar muy útil en el caso de una venta flash, por ejemplo.
Tenga en cuenta también que es posible proporcionar diferentes directivas a Google y Bing:
Robot META para todos los motores;
Robot META solo para la atención de Google;
Robot META solo para Bing.

Esto indica al motor de búsqueda que no incluya la descripción de la página de Yahoo! Directorio en el fragmento de búsqueda.

Impide que los motores de búsqueda muestren la descripción de la página DMOZ en el fragmento de búsqueda. El directorio DMOZ es administrado y mantenido por Open Directory Project (ODP).
El hecho de que no todos los motores de búsqueda admitan todos los valores complica aún más las cosas. Así que aquí hay una buena tabla para ayudarte:

¿Qué es NoIndex?
NoIndex es una instrucción de SEO que indica a las arañas de los motores de búsqueda que no indexen la página web que lo contiene.
Algunas páginas no tienen interés en ser indexadas.
La implementación de esta instrucción se realiza directamente en el código HTML de la página, y más precisamente en la metaetiqueta “robots”.
Los webmasters utilizan NoIndex para evitar la indexación de páginas
Hay varias razones por las que las páginas web no tienen que aparecer en las páginas de resultados de búsqueda (SERP) y, por lo tanto, deben indexarse. Puede ser porque son páginas PDF, porque se ven afectadas por contenido duplicado o porque carecen de contenido y necesitan evitar las sanciones de los motores. La directiva NoIndex se creó para que los webmasters puedan decirles a los robots de los motores de búsqueda que no indexen determinadas URL.
Debe colocarse en la parte del código fuente y agregarse a los demás metadatos.
Toma el formato
en la metaetiqueta robots del encabezado de la página, donde X = «index» o «noindex» e Y = «follow» o «nofollow».
De hecho, primero le decimos al robot a través del noindex que no indexe, pero tendrá que especificarse más adelante si debe seguir o no los enlaces que están en la página en cuestión cuando ‘los hay'.
El atributo follow envía bots a seguir los enlaces y el atributo nofollow los detiene en la propia página.
El NoIndex en SEO: ¡también útil contra contenido duplicado!
Si se creó la directiva NoIndex es porque su uso sirve no solo para orientar los robots de los motores sino también para evitar las acciones penalizadoras de estos últimos. Tome el ejemplo del contenido duplicado. Cuando un motor de búsqueda descubre en sus páginas de índice o partes de páginas presentes en diferentes URL, penaliza algunas de ellas con el ánimo de desalentar el plagio de contenido. Sin embargo, hay casos en los que es necesaria la duplicación de contenido, por ejemplo, para la publicidad de un producto en varias páginas o en varios sitios.
A continuación, se le dan los medios al webmaster que se encarga de indicar a los robots que tales páginas son contenidos duplicados por lo tanto no deben ser indexados y también puede indicar la página original cuya dirección es lo que se denomina URL canónica.
NoIndex también se utiliza para no indexar las páginas de resultados de búsqueda internos de un sitio web, las páginas de paginación, el contenido protegido por derechos de autor y las páginas de categorías duplicadas.
También se utiliza para evitar la indexación durante la fase en la que el webmaster carga una página solo para probar su funcionalidad.
Es importante distinguir entre NoIndex y Disallow.
El segundo se muestra en el archivo robots.txt y es una verdadera instrucción de prohibición.
A diferencia de NoIndex, que permite a los robots consultar el contenido de la página, Disallow bloquea completamente el acceso a la página.
Se utiliza principalmente para proteger partes sensibles del sitio o contenido que no se debe ver.