fbpx

¿CÓMO SE CREA EL ROBOTS.TXT VIRTUAL DE WORDPRESS?

Robots-txt

¿PARA QUÉ SIRVE EL ROBOTS.TXT?

Desde que el SEO existe, o sea, desde que Google existe, el archivo robots.txt ha servido como primera línea de información a los bots de los buscadores de qué quiere el webmaster de un sitio indexar y qué no.

Más que una obligación, pues la mayoría de los bots malintencionados lo obvian y el de Google omite algunas reglas, como la de atrasar el re-indexado, es una indicación de qué quieres que se rastree y qué no.

Para los bots «normales», como los de Google, Bing y resto de buscadores son una serie de instrucciones que les evita perder tiempo rastreando carpetas innecesarias para sus índices, así que es algo que «agradecen».


¿Quieres saber más sobre el Robots.txt?