什么是robots.txt文件?

搜索引擎機(jī)器人通過(guò)鏈接抵達(dá)互聯(lián)網(wǎng)上的每個(gè)網(wǎng)頁(yè)，并抓取網(wǎng)頁(yè)信 息。搜索引擎機(jī)器人在訪問(wèn)一個(gè)網(wǎng)站時(shí)，會(huì)首先檢查該網(wǎng)站的根目錄下是否有一個(gè)叫做robots.txt的純文本文件。當(dāng)我們的網(wǎng)站有一些內(nèi)容不想被搜索引 擎收錄，我們可以通過(guò)設(shè)置robots.txt文件告知搜索引擎機(jī)器人。

如果網(wǎng)站上沒(méi)有禁止搜索引擎收錄的內(nèi)容，則不用設(shè)置robots.txt文件，或設(shè)置為空。

從SEO的角度，robots.txt文件是一定要設(shè)置的，原因：

1. 網(wǎng)站上經(jīng)常存在這種情況：不同的鏈接指向相似的網(wǎng)頁(yè)內(nèi)容。這不符合SEO上講的“網(wǎng)頁(yè)內(nèi)容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
2. 網(wǎng)站改版或URL重寫(xiě)優(yōu)化時(shí)原來(lái)不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
3. 一些沒(méi)有關(guān)鍵詞的頁(yè)面，比如本站的這個(gè)頁(yè)面http://www.szhutong.com/About/，屏蔽掉更好。
4. 一般情況下，站內(nèi)的搜索結(jié)果頁(yè)面屏蔽掉更好。

如果將你的網(wǎng)站比喻成一本書(shū)的話，那么robots.txt 文件就像是你這般書(shū)的目錄。它會(huì)告訴搜索引擎，你的網(wǎng)站那些是對(duì)讀者沒(méi)用的東西，搜索引擎收錄了這些頁(yè)面也沒(méi)有什么用，或者網(wǎng)站的作者根本就不想要搜索引擎知道有這些頁(yè)面。rotots.txt文件在網(wǎng)站搜索引擎優(yōu)化里面是很重要的，專業(yè)的網(wǎng)站建設(shè)公司（比如深圳市互通在線科技有限公司）都會(huì)告訴客戶這些應(yīng)該注意的地方。