Uso de robots.txt y sitemaps en la administracion publica espanola

Аннотация

Los motores de búsqueda en internet construyen sus bases de dalos fundamentalmente a partir del trabajo de robots. Una definición de robot es: "programa que recorre automáticamente la estructura de hipertexto de la Web a través de la recuperación de un documento y, de forma recursiva, va recuperando todos los documentos a los que se bace referencia".