2006/09/13

不讓搜尋引擎搜尋你的網頁

一般搜尋引擎都會有一個機器人(robot or crawler),自動連到你的網頁上,搜尋網頁上面出現的超連結和超連結文字,並把得到的結果存到資料庫建檔,以供其他人搜尋。機器人也會連到網頁中出現的超連結位址,繼續找超連結以及關鍵字。

大部分的網站會將關鍵字放在網頁 <meta> 標籤中。

  <head>
  <meta name="keyword" content="關鍵字1,關鍵字2">
  </head>

機器人會依照 meta 中所給的關鍵字建立索引(index),當然除了 meta 中的關鍵字,在網頁中出現的超連結也一樣會被建立索引。

若不希望讓網頁中的資料被其他人搜尋到(被建立索引),如網頁中包含電話、地址、信用卡卡號等等,就必須在 meta 中加入一些語法:Robots META tag

  <head>
  <meta name="robots" content="noindex,follow">
  </head>

在 content 中,可以放入四種參數:index、noindex、follow、nofollow。
index
允許從你的網頁中建立索引。
noindex
很明顯,不允許建立索引。
follow
允許連結到你網頁中的抄連結再繼續建立索引。
nofollow
不允許使用你網頁上的超連結連到其他網頁。

這些參數預設都是允許,所以當你只有下一個參數:

  <head>
  <meta name="robots" content="noindex">
  </head>

也就表示說不能建立索引,但是仍然可以從你網頁中的超連結連到其他網頁去。

在設定參數時也要小心自己的邏輯不能有矛盾。

  <head>
  <meta name="robots" content="index, noindex">
  </head>

如上面的邏輯就有衝突,不會被機器人所接受。

參考資料:
http://www.robotstxt.org/wc/meta-user.html
http://www.searchtools.com/robots/robots-meta.html

沒有留言:

張貼留言