一般搜尋引擎都會有一個機器人(robot or crawler)，自動連到你的網頁上，搜尋網頁上面出現的超連結和超連結文字，並把得到的結果存到資料庫建檔，以供其他人搜尋。機器人也會連到網頁中出現的超連結位址，繼續找超連結以及關鍵字。
大部分的網站會將關鍵字放在網頁 <meta> 標籤中。
<head>
<meta name=”keyword” content=”關鍵字1,關鍵字2″>
</head>
機器人會依照 meta 中所給的關鍵字建立索引(index)，當然除了 meta 中的關鍵字，在網頁中出現的超連結也一樣會被建立索引。
若不希望讓網頁中的資料被其他人搜尋到(被建立索引)，如網頁中包含電話、地址、信用卡卡號等等，就必須在 meta 中加入一些語法：Robots META tag。
<head>
<meta name=”robots” content=”noindex,follow”>
</head>
在 content 中，可以放入四種參數：index、noindex、follow、nofollow。
- index
- 允許從你的網頁中建立索引。
- noindex
- 很明顯，不允許建立索引。
- follow
- 允許連結到你網頁中的抄連結再繼續建立索引。
- nofollow
- 不允許使用你網頁上的超連結連到其他網頁。
這些參數預設都是允許，所以當你只有下一個參數：
<head>
<meta name=”robots” content=”noindex”>
</head>
也就表示說不能建立索引，但是仍然可以從你網頁中的超連結連到其他網頁去。
在設定參數時也要小心自己的邏輯不能有矛盾。
<head>
<meta name=”robots” content=”index, noindex”>
</head>
如上面的邏輯就有衝突，不會被機器人所接受。
參考資料：
http://www.robotstxt.org/wc/meta-user.html
http://www.searchtools.com/robots/robots-meta.html