Een robots.txt bestand is een tekstbestand dat wordt gebruikt om zoekmachines en andere webrobots te vertellen welke delen van een website wel of niet geïndexeerd mogen worden. Het is als het ware de digitale portier van een website, die bepaalt welke pagina’s toegankelijk zijn voor bezoekers en welke verborgen blijven. Dit bestand wordt vaak gebruikt door websitebeheerders om de privacy van gevoelige informatie te beschermen, de laadtijd van de website te verbeteren en de inhoud te stroomlijnen voor een betere gebruikerservaring. Het is een essentieel hulpmiddel voor het beheren van de zichtbaarheid en toegankelijkheid van een website op het wereldwijde web.