El documento robots.txt es un recurso fundamental para cualquier sitio que busca ser bien vista por los buscadores como Google . Sirve como el directorio para los bots, indicándoles qué áreas de tu web pueden están rastreadas y cuáles no . La óptima configuración de este fichero puede a solucionar problemas de posicionamiento, aumentar la ef