README.robots

   1 The robots.txt file.
   2
   3 Search engines, when looking for sites to show in search results, will first
   4 look for the file /robots.txt.  If this file is found and has lines that apply
   5 to them they will do as instructed.  A very basic robots.txt follow as an
   6 example:
   7
   8 # go away
   9 User-agent: *
  10 Disallow: /
  11
  12 This tells every search engine that cares (User-agent: *) to not index the site
  13 (Disallow everything past /).
  14
  15 If you have installed Koha to /usr/local/koha3 then this file would be placed
  16 in the directory /usr/local/koha3/opac/htdocs/.  This should prevent search
  17 engines from browsing every biblio record, and every view of each record, on
  18 your Koha install periodically.