當我們有時(shí)候site網(wǎng)址查看網(wǎng)站快照,可能會(huì )查看到百度結果會(huì )顯示“由于該網(wǎng)站的robots.txt文件存在限制指令,系統無(wú)法提供該頁(yè)面的內容描述”,我們可能會(huì )覺(jué)得奇怪,怎么會(huì )出現這種問(wèn)題呢?難道是搜索引擎的蜘蛛出問(wèn)題了嗎?當然不是的,出現這種情況,大多數時(shí)間是由于我們網(wǎng)站根目錄下robots.txt的文件限制了網(wǎng)站的快照,搜索引擎蜘蛛為了遵循網(wǎng)站的robots.txt約定,沒(méi)有將除title的其他內容展示出來(lái)。
那么發(fā)現了這個(gè)問(wèn)題我們應該怎么辦呢?首先,找到根目錄下的robots.txt,用記事本打開(kāi),將仔細查看里面的disallow語(yǔ)句,找到disallow:/,對這個(gè)就是限制了蜘蛛抓取整個(gè)網(wǎng)站目錄的指令,把這行去掉,保存退出。然后我們要到百度站長(cháng)工具里面,重新提交robots文件,目的是為了告訴搜索引擎,我的robots文件已經(jīng)做了修改,目錄限制抓取已經(jīng)解除。這樣,等下次快照更新,你的網(wǎng)站可能就會(huì )正常了,當然,有時(shí)候百度更新是很慢的,這時(shí)候你也不要著(zhù)急,可能要過(guò)一段時(shí)間才能正常收錄并抓取,只要耐心等待即可。
專(zhuān)人負責項目策劃、架構設計、視覺(jué)設計、前后端技術(shù)開(kāi)發(fā)、運維托管等
擁有多項軟件著(zhù)作證書(shū),硬技術(shù)過(guò)硬,原創(chuàng )創(chuàng )意設計滿(mǎn)足您的需求!
網(wǎng)站建設架構符合SEO規律,排名引流從源頭開(kāi)始,贏(yíng)在起跑線(xiàn)
一對一專(zhuān)屬負責人,杜絕"投訴無(wú)門(mén)",建站綿綿無(wú)期,可靠貼心網(wǎng)站建設公司