Robots Exclusion Protoco

Bezeichnet die Vorschrift der Robots der Suchmaschinen, vor dem Erfassen der Webseite die Datei robots.txt auszulesen. Das Robot Exclusion Standard Protokoll ist kein offiziell zu befolgender Standard, wird allerdings in der Regel von allen Suchmaschinen angewendet.