色婷婷国产精品免费网站_av在线官网_色综合色综合_欧美精品一区二区三区蜜桃视频_成人免费视频观看视频_国产午夜精品一区二区三区视频

17站長網

17站長網 首頁 網站 SEO優化 查看內容

robots是什么?robots mate和robots有什么區別

2023-8-4 14:49| 查看: 6478 |來源: 互聯網

Robots是什么robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍, ...

Robots是什么

robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。一定要注意txt文件必須放在站點的根目錄中,文件名必須為小寫。

robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被搜索引擎訪問的部分,或者指定搜索引擎只收錄指定的內容。因此,機器人的優化將直接影響到搜索引擎對站點的收錄。

只有在需要禁止抓取某些內容時,才寫robots。一些服務器設置是問題:當機器人文件不存在時,它返回200個狀態代碼和一些錯誤消息,而不是404頁面,這是因為搜索機器人誤讀了robots文件信息。

robots mate是什么

robots meta標簽主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣, robots meta標簽也是放在頁面的head>中,專門用來告訴搜索引擎機器人如何抓取該頁的內容。

follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;

robots meta標簽的缺省值是index和follow;

index指令告訴搜索機器人抓取該頁面;

robots meta標簽中沒有大小寫之分,name=“robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=“ baiduspider' content部分有四個指令選項index、noindex、follow、nofollow,指令間以“,”分隔。

Robots和robots mate的區別

目前來說,所有的搜索引擎都支持和遵守robots.txt的規定,但是支持robots mate的卻比較少,大家可以酌情使用。

本文最后更新于 2023-8-4 14:49,某些文章具有時效性,若有錯誤或已失效,請在網站留言或聯系站長:17tui@17tui.com
·END·
站長網微信號:w17tui,關注站長、創業、關注互聯網人 - 互聯網創業者營銷服務中心

免責聲明:本站部分文章和圖片均來自用戶投稿和網絡收集,旨在傳播知識,文章和圖片版權歸原作者及原出處所有,僅供學習與參考,請勿用于商業用途,如果損害了您的權利,請聯系我們及時修正或刪除。謝謝!

17站長網微信二維碼

始終以前瞻性的眼光聚焦站長、創業、互聯網等領域,為您提供最新最全的互聯網資訊,幫助站長轉型升級,為互聯網創業者提供更加優質的創業信息和品牌營銷服務,與站長一起進步!讓互聯網創業者不再孤獨!

掃一掃,關注站長網微信

大家都在看

    熱門排行

      最近更新

        返回頂部
        主站蜘蛛池模板: 激情网站 | 国产精品一二三四 | 99视频网 | 国产美女自拍视频 | 一区二区三区四区视频 | 色婷婷婷 | 五月开心婷婷 | 99视频网站 | 国产午夜精品久久久 | 99久久99| 精品国产乱码久久久久久蜜臀网站 | 懂色av成人一区二区三区 | 欧美日韩一区二区三区视频 | 男人影院在线观看 | 成人午夜又粗又硬又大 | 182tv午夜 | 国产永久视频 | 黄色小说视频 | 一级黄片毛片 | 人人草人人草 | 欧美天天 | 91美女片黄在线观看91美女 | 午夜av片| 久国产 | 欧美性猛交一区二区三区精品 | 九九在线免费视频 | 草草在线观看 | 精品国产欧美一区二区三区成人 | 欧美在线免费观看 | 日本在线免费观看 | 日本欧美久久久久免费播放网 | 国产xxx | 日本在线观看 | 日韩色在线 | 国产精品高潮呻吟av | 免费一区二区 | 欧美一区二区三区在线播放 | 午夜精品久久久久久久久久久久 | brazzers疯狂作爱 | 国产精品无 | 国产精品一 |