Araña El archivo robots.txt no es más que un archivo de texto plano que permite indicar a los robots que analizan nuestro sitio web sobre la organización de nuestro sitio, veremos cómo crearlos y cómo definir las reglas más básicas.