El archivo robots.txt de cara al SEO (en pocas palabras)

Como bien sabemos, las “arañas” de ciertos buscadores electrónicos como Google, siempre buscarán en el directorio raíz de un sitio Web el fichero “robots.txt”, básicamente para conocer qué archivos deben o no incluir en su base de datos.

Estas son tres preguntas que usualmente me hacen sobre el tema:

¿Qué pasa si deseamos excluir algunos contenidos del sitio para el buscador?

Si deseamos excluir (o incluir) parte de nuestras carpetas (imágenes u otras) o de contenidos ante los «ojos» de los buscadores, se ha recomendado crear un fichero bajo el nombre de «robots.txt».

El mismo, está formado por uno o varios registros, cada uno de los cuales deberá estar hecho con dos campos: una línea User-Agent y una o más líneas Disallow.

Si deseas aprender cómo hacerlo, te dejo esta herramienta así como una guía práctica para crearlo con Google Webmaster Tools

¿Perjudica esto el trabajo de posicionamiento SEO?

En buena teoría no. De hecho se ha recomendado como “importante” para la indexación adecuada en los buscadores -lo cual es algo indispensable cuando trabajamos en una estrategia de posicionamiento en Internet.

¿Pero, es necesario utilizarlo siempre?

Personalmente muy pocas veces lo hago… mi costumbre es aplicarlo solo cuando realmente NO deseo que visite algo dentro del sitio en cuestión (es decir: para excluir archivos).

Para indicarle que incluya archivos o carpetas, nunca lo utilizo. Esto, ya que los buscadores han evolucionado hoy en día y no considero tan indispensable decirle que necesito que pase a “visitar” del sitio… (Para esto prefiero utilizar la herramienta sitemaps, aunque algunos no la recomienden del todo).

Según tu propia experiencia: ¿Qué opinas sobre el uso o NO de dicho archivo?