湖南長沙八年做網站,網絡優化推廣服務團隊,讓您小投資大回報,幫您打開網絡營銷財富之門!
 業務服務熱線:0731-88571521  13637482004  
 


地址:長沙市韶山南路248號南園503
      室(瀟湘晨報旁)
電話:0731-88571521
手機:13637482004
Q  Q:44377655 522392221
網址:www.qegges.buzz
郵箱:522392221@qq.com
網站維護與安全
長沙做網站聯系電話:0731-88571521 13637482004

怎樣寫網站的robots文件 robots.txt這個文件是什么?有什么作用?

信息來源:長沙做百度SEO   發布時間:2018-11-13   瀏覽:

一個網站如果”/robots.txt”不存在或者為空文件,那么說明此網站對于所有的搜索引擎robot,該網站都是開放的。


從京東和淘寶的robots.txt文件協議來看,robots.txt文件要講究語法的.
三個語法
1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類型。
2、Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址。
3、Allow——希望被訪問的一組UR。
a、  *      匹配0或多個任意字符。
b、  $      結束符。 

首先寫User-agent:
A、U必須大寫,后面的小寫,緊接著冒號 ——這里還要注意一點:輸入法必須調成英文狀態,都是英文狀態下的)
B、空一格再定義搜索引擎類型。比如定義百度蜘蛛


再寫
Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問的一組UR。
Disallow: /(空一格,一撇)
Allow: /(空一格,一撇)


舉例:

1. 禁止所有搜索引擎訪問網站的任何部分

User-agent: *

Disallow: /


2. 僅禁止Baiduspider訪問您的網站

User-agent: Baiduspider

Disallow: /


3.禁止Google索引你的網站。

User-agent: Googlebot

Disallow: /


4.除了百度以外,其他一切搜索引擎禁止索引你的網站。

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /


5. 禁止所有搜索引擎訪問install這個目錄以及install這個目錄下的所有文件

User-agent: *

Disallow: /install


6.禁止百度搜索引擎訪問admin目錄;允許訪問images目錄。

User-agent: Baiduspider

Disallow: /admin

Allow: /images


7.禁止百度搜索引擎訪問網站所有.jpg的圖片

User-agent: Baiduspider

Disallow: /*.jpg$


8.禁止百度搜索引擎訪問網站所有的圖片

User-agent: Baiduspider

Disallow: /*.jpg$

Disallow: /*.png$

Disallow: /*.gif$


9.禁止所有搜索引擎訪問admin目錄下所有php文件;允許訪問asp文件。

User-agent: *

Disallow: /admin/*.php$

Allow: /admin/*.asp$


10.禁止所有搜索引擎索引網站中所有的動態路徑。

User-agent: *

Disallow: /*?*


重點區分以下兩種:

a、禁止搜索引擎訪問faq目錄下的所有文件

User-agent: *

Disallow: /faq/     

例1:http://www.qegges.buzz/faq/1.html 不能訪問

例2:http://www.qegges.buzz/faq1.html 能訪問


b、禁止搜索引擎訪問以faq開頭的所有文件

User-agent: *

Disallow: /faq

例1:http://www.qegges.buzz/faq/1.html 不能訪問

例2:http://www.qegges.buzz/faq1.html 不能訪問





相關熱點文章


地址:湖南長沙市韶山南路248號南園503室(瀟湘晨報旁) 版權所有:長沙市天心區斌網網絡技術服務部 統一社會信用代碼:92430103MA4LAMB24R
咨詢電話:0731-88571521   13637482004
業務 QQ:客服一 1306053142 客服二 1320506001 技術/售后 522392221 高級顧問 44377655
服務郵箱:fanbin@binweb.cn   522392221@qq.com
官方網址:www.qegges.buzz   www.pk0731.com
旗下網站:斌網網絡  長沙信息處  佛佛網  曬土貨網
 湘公網安備 43010302000270號  網站ICP備案號:湘ICP備13006070號-2  

在線客服1 在線客服2 技術咨詢 資深顧問

网上买时时彩票可靠吗 四川时时彩平台网站一Welcome 老快3跨度走势 七星彩走势图综合版最近200期 青海11选5今天开奖 江西多乐彩11选5 广东快乐10分中奖技巧 bet365体育在线服务器 在无锡中彩票去哪兑换 唯一可以网购的彩票平台 香港赛马会正版图库 十一运夺金走势图爱彩 51计划网pk10计划免费 工商银行股票 新世界棋牌娱乐 台湾麻将十六张 重庆时时彩官方开奖