{robots.txt: La guía definitiva completa para optimizar tu posicionamiento web
El documento robots.txt es una recurso fundamental para la sitio web que desea aparecer bien posicionada por los rastreadores como Chrome . Funciona como el mapa para los crawlers , indicándoles qué secciones de tu web pueden ser crawleadas y cuáles no . Una correcta configuración de este fichero