Skip to content

Zeroplex 生活隨筆

軟體開發、伺服器和生活瑣事

小 縮小字型大小。 中 重設字型大小。 大 放大字型大小。

防止搜尋引擎搜尋你的網頁 (不建立索引)

Posted on 2008 年 1 月 13 日2021 年 3 月 12 日 By 日落 在〈防止搜尋引擎搜尋你的網頁 (不建立索引)〉中有 1 則留言

現在搜尋引擎的功力實在太強了,什麼網頁都可以被他抓到,之前 Apache log 檔沒有遊客的紀錄,但是 Google、Yahoo 搜尋機器人卻是一大堆。

不過並不是所有網頁都會被搜尋引擎建立索引供他人搜尋,大多數的搜尋引擎都遵守一共同的規定,這些規定可讓搜尋引擎不搜尋你的網頁。

  方法一:robot.txt
在你的網站跟目錄建立一個名為 robot.txt 的檔案,搜尋引擎在開始搜尋網站之前都會讀取這個檔案,這個檔案裡可以設定網站中哪些目錄不允許搜尋,也可以設定哪些搜尋引擎不可以搜尋,設定檔內容如下:

User-agent: *
Disallow: /mp3
Disallow: /file/phoneBook.htm

詳細解說請參考:A Standard for Robot Exclusion

  方法二:HTML <meta> tag
在你的網頁中新增 <meta> 標籤,並在標籤中設定搜尋規範。例如:<meta name="robots" content="noindex, follow">
詳細設定方法請參考:About the Robots <META> tag

Tags:資訊學習

文章導覽

Previous Post: Windows errors 笑料百出
Next Post: 心靜不下來

Comment (1) on “防止搜尋引擎搜尋你的網頁 (不建立索引)”

  1. 匿名表示:
    2008 年 1 月 25 日02:26

    有個小問題 :p
    s/robot.txt/robots.txt/

    回覆

發佈留言 取消回覆

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *


其他

關於我  (About me)

小額贊助

  文章 RSS Feed

  留言 RSS Feed

Apache AWS Bash C/C++ Docker FreeBSD GCP Git Google Java JavaScript Laravel Linux Microsoft MSSQL MySQL Nginx PHP PHPUnit PostgreSQL Python Qt Ubuntu Unix Vim Web Windows WordPress XD 作業系統 分享 好站推薦 專題 攝影 新奇搞笑 新聞 旅遊 生活雜記 程式設計 網路架站 網頁設計 資訊學習 資訊安全 遊戲 音樂


創用 CC 授權條款
本著作係採用創用 CC 姓名標示-相同方式分享 4.0 國際 授權條款授權.