幸運的，大部份在 Web 上的程式都遵循一個簡單的協定，如果您想的話 ，您可以利用這個特性來將這些程式侷限在您的伺服器上的一小部份的 資料中，也就是所謂的程式陷阱。 (譬如，它們包含了一個無限數目的 可能連線。)請看看 World Wide Web 程式，Wanderers 以及 Spiders (URL 是 <URL:http://web.nexor.co.uk/mak/doc/robots/robots.html> ) ，並且學習它們為什麼被排斥與浮現的標準。您也可以在那裡看到已經寫 好的程式，包含了有用而且您可能“不“會排斥的主題收尋程 式。