El archivo robots.txt es una recurso esencial para cualquier página web que busca aparecer bien posicionada por los motores de búsqueda como Google . Visítenos Sirve como una instructivo para los bots, indicándoles qué áreas de tu sitio pueden ser rastreadas y cuáles se deben excluir . Una correcta configuración de este fichero puede a solu