防止搜尋引擎來搜尋自己的網頁

在網路上找到兩個做法
1. 在網站及目錄下建立 robot.txt, 由檔案的內容來限制
2. 透過meta來做

參考的網址 -->
http://www.robotstxt.org/orig.html
http://www.robotstxt.org/meta.html