{"id":831,"date":"2008-08-01T10:06:43","date_gmt":"2008-08-01T16:06:43","guid":{"rendered":"http:\/\/www.seocharlie.com\/blog\/?p=831"},"modified":"2008-08-01T10:06:43","modified_gmt":"2008-08-01T16:06:43","slug":"el-archivo-robotstxt-de-cara-al-seo-en-pocas-palabras","status":"publish","type":"post","link":"https:\/\/seocharlie.com\/blog\/2008\/08\/01\/el-archivo-robotstxt-de-cara-al-seo-en-pocas-palabras\/","title":{"rendered":"El archivo robots.txt de cara al SEO (en pocas palabras)"},"content":{"rendered":"

Como bien sabemos, las \u201cara\u00f1as<\/em>\u201d de ciertos buscadores electr\u00f3nicos como Google, siempre buscar\u00e1n en el directorio ra\u00edz de un sitio Web el fichero \u201crobots.txt\u201d<\/strong>, b\u00e1sicamente para conocer qu\u00e9 archivos deben o no incluir en su base de datos.<\/p>\n

Estas son tres preguntas que usualmente me hacen sobre el tema:<\/p>\n

\u00bfQu\u00e9 pasa si deseamos excluir algunos contenidos del sitio para el buscador?<\/strong><\/p>\n

Si deseamos excluir (o incluir) parte de nuestras carpetas (im\u00e1genes u otras) o de contenidos ante los \u00abojos<\/em>\u00bb de los buscadores, se ha recomendado crear un fichero bajo el nombre de \u00abrobots.txt\u00bb.<\/p>\n

El mismo, est\u00e1 formado por uno o varios registros, cada uno de los cuales deber\u00e1 estar hecho con dos campos: una l\u00ednea User-Agent<\/strong> y una o m\u00e1s l\u00edneas Disallow<\/strong>.<\/p>\n

Si deseas aprender c\u00f3mo hacerlo, te dejo esta herramienta<\/a> as\u00ed como una gu\u00eda pr\u00e1ctica<\/a> para crearlo con Google Webmaster Tools<\/em>…<\/p><\/blockquote>\n

\u00bfPerjudica esto el trabajo de posicionamiento SEO?<\/strong><\/p>\n

En buena teor\u00eda no<\/strong>. De hecho se ha recomendado como \u201cimportante<\/em>\u201d para la indexaci\u00f3n<\/a> adecuada en los buscadores -lo cual es algo indispensable cuando trabajamos en una estrategia de posicionamiento en Internet.<\/p><\/blockquote>\n

\u00bfPero, es necesario utilizarlo siempre<\/em>?<\/strong><\/p>\n

Personalmente muy pocas veces lo hago… mi costumbre es aplicarlo solo cuando realmente NO<\/strong> deseo que visite algo dentro del sitio en cuesti\u00f3n (es decir: para excluir<\/strong> archivos).<\/p>\n

Para indicarle que incluya<\/strong> archivos o carpetas, nunca lo utilizo. Esto, ya que los buscadores han evolucionado<\/em> hoy en d\u00eda y no considero tan indispensable decirle <\/em>que necesito que pase a \u201cvisitar\u201d del sitio… (Para esto prefiero utilizar la herramienta sitemaps<\/a><\/em>, aunque algunos<\/a> no la recomienden del todo).<\/p><\/blockquote>\n

Seg\u00fan tu propia experiencia: \u00bfQu\u00e9 opinas sobre el uso o NO de dicho archivo?<\/strong><\/p>\n","protected":false},"excerpt":{"rendered":"

Como bien sabemos, las \u201cara\u00f1as\u201d de ciertos buscadores electr\u00f3nicos como Google, siempre buscar\u00e1n en el directorio ra\u00edz de un sitio Web el fichero \u201crobots.txt\u201d, b\u00e1sicamente para conocer qu\u00e9 archivos deben o no incluir en su base de datos. Estas son tres preguntas que usualmente me hacen sobre el tema: \u00bfQu\u00e9 pasa si deseamos excluir algunos […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"spay_email":"","footnotes":"","jetpack_publicize_message":"","jetpack_is_tweetstorm":false,"jetpack_publicize_feature_enabled":true},"categories":[25,23,31,1,2],"tags":[94,95,37,93,2],"class_list":["post-831","post","type-post","status-publish","format-standard","hentry","category-analisis-y-estadisticas","category-buscadores","category-consejos","category-yahoo-seo","category-seo","tag-archivos","tag-ficheros","tag-posicionamiento","tag-robotstxt","tag-seo"],"jetpack_featured_media_url":"","jetpack_publicize_connections":[],"jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/pgmtK-dp","jetpack-related-posts":[{"id":1564,"url":"https:\/\/seocharlie.com\/blog\/2010\/05\/24\/como-sacar-un-sitio-del-abismo\/","url_meta":{"origin":831,"position":0},"title":"\u00bfC\u00f3mo sacar un sitio del Abismo?","date":"24 mayo, 2010","format":false,"excerpt":"En un post anterior discutimos sobre el estimado de tiempo que un sitio tardaba en perder posiciones cuando se dejaba de optimizar. Pero este post, trata sobre aquellos posibles casos donde nuestros sitios (o de clientes) caen estrepitosamente (repentinamente) en las listas de resultados cuando s\u00ed trabajamos en su estrategia\u2026","rel":"","context":"En \u00abAn\u00e1lisis y Estad\u00edsticas\u00bb","img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.seocharlie.com\/blog\/wp-content\/uploads\/2010\/05\/abismo-seo.gif?resize=350%2C200","width":350,"height":200},"classes":[]},{"id":1325,"url":"https:\/\/seocharlie.com\/blog\/2009\/06\/10\/al-final-de-dia-%c2%bfque-deberia-incluir-un-reporte-final-de-un-seo\/","url_meta":{"origin":831,"position":1},"title":"Al final de d\u00eda, \u00bfqu\u00e9 (deber\u00eda) incluir un Reporte final de un SEO?","date":"10 junio, 2009","format":false,"excerpt":"Dicen que todo llega a su final, lo que incluye obviamente un proceso de optimizaci\u00f3n para un sitio Web (que al menos deber\u00eda haberse mantenido por seis meses creo). Cuando esto sucede, es posible que el cliente espere ansioso ese \u201creporte final\u201d que muestre todos los avances que ha tenido\u2026","rel":"","context":"En \u00abArt\u00edculos Varios\u00bb","img":{"alt_text":"reporte-seo","src":"https:\/\/i0.wp.com\/www.seocharlie.com\/blog\/wp-content\/uploads\/2009\/06\/reporte-seo.jpg?resize=350%2C200","width":350,"height":200},"classes":[]},{"id":3205,"url":"https:\/\/seocharlie.com\/blog\/2011\/10\/04\/3-curiosidades-del-atributo-canonical\/","url_meta":{"origin":831,"position":2},"title":"3 Curiosidades del atributo \u201ccanonical\u201d","date":"4 octubre, 2011","format":false,"excerpt":"Como bien sabemos, el proceso de indexaci\u00f3n por parte de los buscadores es clave, ya que nos permitir\u00e1 aparecer en los resultados de b\u00fasqueda seg\u00fan nuestras palabras clave \u2013basadas en el keyword research. Sin embargo, el eterno problema de los contenidos duplicados trajo al tapete hace alg\u00fan tiempo atr\u00e1s \u2013bueno\u2026","rel":"","context":"En \u00abAn\u00e1lisis y Estad\u00edsticas\u00bb","img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":2523,"url":"https:\/\/seocharlie.com\/blog\/2010\/08\/09\/consideraciones-cuando-edites-tu-sitio-web\/","url_meta":{"origin":831,"position":3},"title":"conSidEraciOnes cuando edites tu Sitio Web","date":"9 agosto, 2010","format":false,"excerpt":"Conforme pasa el tiempo, es com\u00fan que las empresas decidan hacer ajustes a sus sitios Web. Muchos de ellos son \u201cest\u00e9ticos\u201d (logotipos, colores, fotograf\u00edas), pero otros radican en cambios de lenguaje de programaci\u00f3n o administraci\u00f3n de contenidos (PHP, ASP, CMS, etc.). En buena teor\u00eda ninguno de estos cambios (dise\u00f1o, contenidos,\u2026","rel":"","context":"En \u00abArt\u00edculos Varios\u00bb","img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":148,"url":"https:\/\/seocharlie.com\/blog\/2006\/11\/11\/google-y-sitios-que-utilizan-macromedia-flash\/","url_meta":{"origin":831,"position":4},"title":"Google y sitios que utilizan Macromedia Flash","date":"11 noviembre, 2006","format":false,"excerpt":"Aunque ya hab\u00eda comentado acerca del tema anteriormente en este blog, me pareci\u00f3 interesante la informaci\u00f3n que el mismo Google expone acerca del tema aqu\u00ed. De hecho, transcribo parte del texto: \u00bfGoogle incluye en su \u00edndice sitios que utilizan Macromedia Flash? S\u00ed, Google indexa p\u00e1ginas que utilizan Macromedia Flash. Sin\u2026","rel":"","context":"En \u00abGoogle\u00bb","img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":427,"url":"https:\/\/seocharlie.com\/blog\/2007\/05\/18\/nueva-herramienta-para-eliminar-contenido-en-los-serps-de-google\/","url_meta":{"origin":831,"position":5},"title":"Nueva herramienta para eliminar contenido en los SERPs de Google","date":"18 mayo, 2007","format":false,"excerpt":"\u00bfEres una de las personas que busca una herramienta que le permita controlar el contenido que se muestra en los SERPs (Posiciones dentro de los Resultados de B\u00fasqueda) de Google? Afortunadamente, no te encuentras solo. El gigante de las b\u00fasquedas Google, ha creado nuevas herramientas que permiten a los webmasters\u2026","rel":"","context":"En \u00abBuscadores\u00bb","img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"_links":{"self":[{"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/posts\/831","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/comments?post=831"}],"version-history":[{"count":0,"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/posts\/831\/revisions"}],"wp:attachment":[{"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/media?parent=831"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/categories?post=831"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/seocharlie.com\/blog\/wp-json\/wp\/v2\/tags?post=831"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}