{"id":26150,"date":"2022-12-06T01:58:41","date_gmt":"2022-12-06T00:58:41","guid":{"rendered":"\/tutoriales\/?p=26150"},"modified":"2025-02-11T19:49:56","modified_gmt":"2025-02-11T18:49:56","slug":"como-bloquear-los-motores-de-busqueda-utilizando-robotstxt","status":"publish","type":"post","link":"\/co\/tutoriales\/como-bloquear-los-motores-de-busqueda-utilizando-robotstxt","title":{"rendered":"C\u00f3mo bloquear los motores de b\u00faqueda con robots.txt disallow"},"content":{"rendered":"

¿Buscas una manera de controlar cómo rastrean tu sitio web los bots de los motores de búsqueda? ¿O quieres hacer privadas algunas partes de tu sitio web? Puedes hacerlo modificando el archivo robots.txt<\/strong> con el comando disallow<\/strong>.<\/p>

En este artículo, aprenderás lo que robots.txt <\/strong>puede hacer por tu sitio web. También te mostraremos cómo utilizarlo para bloquear los rastreadores de los motores de búsqueda.<\/p>

¿Qué es exactamente robots.txt?<\/h2>

Robots.txt<\/strong> es un archivo de texto plano que se utiliza para comunicarse con los rastreadores web. El archivo se encuentra en el directorio root o raíz de un sitio web.<\/p>

Funciona indicando a los robots qué partes del sitio deben y no deben ser escaneadas. Depende de robots.txt<\/strong> si se permite o no que los robots rastreen un sitio web.<\/p>

En otras palabras, puedes configurar el archivo para evitar que los motores de búsqueda escaneen e indexen páginas<\/a> o archivos de tu sitio.<\/p>

¿Por qué debo bloquear un motor de búsqueda?<\/h2>

Si tienes páginas que contienen información sensible, querrás hacerlas privadas. Por desgracia, los robots o bots de los buscadores no pueden distinguir automáticamente entre el contenido público y el privado. En este caso, es necesario restringir el acceso.<\/p>

También puedes impedir que los bots rastreen todo tu sitio. Especialmente si tu sitio web está en modo de mantenimiento o en fase de pruebas.<\/p>

Otro uso de robots.txt<\/strong> es evitar los problemas de contenido duplicado que se producen cuando las mismas entradas o páginas aparecen en diferentes URL. Los duplicados pueden afectar negativamente a la optimización de los motores de búsqueda (SEO)<\/a>.<\/p>

La solución es sencilla: identificar el contenido duplicado y evitar que los bots lo rastreen.<\/p>

¿Cómo utilizar robots.txt disallow para bloquear a los motores de búsqueda?<\/h2>

Si quieres ver el archivo robots.txt<\/strong> de tu sitio, puedes añadir robots.txt<\/strong> después de la URL de tu sitio, por ejemplo, www.misitioweb.com\/robots.txt<\/strong>. Puedes editarlo a través del gestor de archivos del panel de control de tu hospedaje web<\/a>, o de un cliente FTP<\/a>.<\/p>

Vamos a configurar el archivo robots.txt<\/strong> a través del administrador de archivos del hPanel<\/a> de Hostinger. Primero, tienes que entrar en el Administrador de Archivo<\/strong>s en la sección Archivos<\/strong> del panel. A continuación, abre el archivo desde el directorio public_html<\/strong>.<\/p>

\"\"<\/figure>

Si el archivo no está ahí, puedes crearlo manualmente. Solo tienes que hacer clic en el botón Nuevo archivo<\/strong> en la esquina superior derecha del gestor de archivos, llamarlo robots.txt<\/strong> y colocarlo en public_html<\/strong>.<\/p>

Ahora puedes empezar a añadir comandos o reglas al archivo. Los dos principales que debes conocer son<\/p>

    \n
  1. User-agent<\/strong>: también conocido como agente de usuario, se refiere al tipo de bot que será restringido, como Googlebot<\/a> o Bingbot<\/a>.<\/li>\n\n\n\n
  2. Disallow<\/strong>: también conocido como estándar de exclusión, es donde quieres restringir los bots.<\/li>\n<\/ol>

    Veamos un ejemplo. Si quieres impedir que el robot de Google rastree una carpeta específica de tu sitio, puedes poner este comando en el archivo:<\/p>

    User-agent: Googlebot \nDisallow: \/example-subfolder\/<\/pre>
    También puedes bloquear el rastreo de los bots en una página web concreta. Si quieres bloquear a Bingbot de una página, puedes configurar el comando con esta instrucción:<\/p>
    User-agent: Bingbot\n\nDisallow: \/example-subfolder\/blocked-page.html<\/pre>
    Ahora, ¿qué pasa si quieres que el archivo robots. txt<\/strong> no permita el acceso a los bots de un motor de búsqueda? Puedes hacerlo poniendo un asterisco (*)<\/strong> junto a User-agent<\/strong>. Y si quieres impedir que accedan a todo el sitio, solo tienes que poner una barra (\/)<\/strong> junto a Disallow<\/strong>. Esto es lo que parece:<\/p>
    User-agent: *\n\nDisallow: \/<\/pre>
    Puedes establecer diferentes configuraciones para distintos motores de búsqueda añadiendo varios comandos al archivo. Además, ten en cuenta que los cambios tienen efecto después de guardar el archivo robots.txt<\/strong>.<\/p>
    Conclusión<\/h2>
    Ahora has aprendido a modificar el archivo robots.txt<\/a>. Esto te permite gestionar el acceso de los bots de los motores de búsqueda a tu sitio web. Ahora puedes estar tranquilo sabiendo que solo aparecerá en las páginas de resultados de los buscadores lo que tú quieras que aparezca.<\/p>
    \n\n\n\n
    \n                    
    Más información sobre la optimización del sitio web<\/h4>\n                    
     <\/p>
    ¿Qué es la optimización del sitio web?<\/a><\/p>
    ¿Qué es un mapa del sitio web?<\/a> <\/p>
    <\/p>\n                <\/div>\n<\/p>\n","protected":false},"excerpt":{"rendered":"
    ¿Buscas una manera de controlar cómo rastrean tu sitio web los bots de los motores de búsqueda? ¿O quieres hacer privadas algunas partes de tu sitio web? Puedes hacerlo modificando el archivo robots.txt con el comando disallow. En este artículo, aprenderás lo que robots.txt puede hacer por tu sitio web. También te mostraremos cómo utilizarlo […]<\/p>\n
    Read More…<\/a><\/p>\n","protected":false},"author":353,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"rank_math_title":"Robots.txr disallow: c\u00f3mo bloquear los motores de b\u00fasqueda","rank_math_description":"Puedes impedir que los bots de los motores de b\u00fasqueda rastreen tu web mediante el archivo robots.txt. Ac\u00e1 aprender\u00e1s c\u00f3mo hacerlo f\u00e1cilmente.","rank_math_focus_keyword":"robots txt disallow","footnotes":""},"categories":[5701],"tags":[],"class_list":["post-26150","post","type-post","status-publish","format-standard","hentry","category-desarrollo-web"],"hreflangs":[{"locale":"en-US","link":"https:\/\/www.hostinger.com\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"pt-BR","link":"https:\/\/www.hostinger.com\/br\/tutoriais\/como-criar-robots-txt-bloquear-mecanismos-busca","default":0},{"locale":"es-ES","link":"https:\/\/www.hostinger.com\/es\/tutoriales\/como-bloquear-los-motores-de-busqueda-utilizando-robotstxt","default":0},{"locale":"en-UK","link":"https:\/\/www.hostinger.com\/uk\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"es-MX","link":"https:\/\/www.hostinger.com\/mx\/tutoriales\/como-bloquear-los-motores-de-busqueda-utilizando-robotstxt","default":0},{"locale":"es-CO","link":"https:\/\/www.hostinger.com\/co\/tutoriales\/como-bloquear-los-motores-de-busqueda-utilizando-robotstxt","default":0},{"locale":"es-AR","link":"https:\/\/www.hostinger.com\/ar\/tutoriales\/como-bloquear-los-motores-de-busqueda-utilizando-robotstxt","default":0},{"locale":"pt-PT","link":"https:\/\/www.hostinger.com\/pt\/tutoriais\/como-criar-robots-txt-bloquear-mecanismos-busca","default":0},{"locale":"en-IN","link":"https:\/\/www.hostinger.com\/in\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"en-CA","link":"https:\/\/www.hostinger.com\/ca\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"en-PH","link":"https:\/\/www.hostinger.com\/ph\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"en-MY","link":"https:\/\/www.hostinger.com\/my\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"en-AU","link":"https:\/\/www.hostinger.com\/au\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0},{"locale":"en-NG","link":"https:\/\/www.hostinger.com\/ng\/tutorials\/how-to-block-search-engines-using-robotstxt","default":0}],"acf":[],"_links":{"self":[{"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/posts\/26150","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/users\/353"}],"replies":[{"embeddable":true,"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/comments?post=26150"}],"version-history":[{"count":7,"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/posts\/26150\/revisions"}],"predecessor-version":[{"id":33860,"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/posts\/26150\/revisions\/33860"}],"wp:attachment":[{"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/media?parent=26150"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/categories?post=26150"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.hostinger.com\/co\/tutoriales\/wp-json\/wp\/v2\/tags?post=26150"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}