Qu'est-ce que le fichier robots.txt ?

Le fichier robots.txt donne des instructions aux crawlers sur les pages à ne pas explorer. Il est utile pour bloquer le crawl des pages sans valeur SEO et économiser le crawl budget.