Wat is robots.txt?

Robots.txt is een bestand dat altijd in de hoofdmap van een website geplaatst wordt om aan te geven welke delen van de content van de website door zoekrobots bekeken mogen worden. Doorgaans wordt met deze zoekrobots de zogenaamde spiders van zoekmachines bedoeld. Alvorens een zoekmachine een website begint te indexeren, wordt eerst nagegaan of er een robots.txt-bestand bestaat dat informatie geeft over wat wel of niet mag geïndexeerd worden.