Robots.txt文件看似只有幾行字母，但是其實(shí)有很多細(xì)節(jié)需要注意的。因?yàn)槿绻悴蛔⒁膺@些細(xì)節(jié)，有的語句將不會發(fā)揮效果，甚至出現(xiàn)反效果。robots.txt文件是搜索引擎進(jìn)入文匯軟件站點(diǎn)后訪問的第一個(gè)文件，文匯軟件（濟(jì)南網(wǎng)站建設(shè)）提醒大家robots.txt文件寫的好不好直接關(guān)系到站點(diǎn)的seo能否順利進(jìn)行。

1、robots的用法

User-agent：定義進(jìn)制搜索引擎名字，比如說：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*號代表全部搜索引擎
Disallow：不允許收錄

Allow：允許收錄

案例：

User-agent: * （聲明禁止所有的搜索引擎抓取以下內(nèi)容）

Disallow：/blog/（禁止網(wǎng)站blog欄目下所有的頁面。比如說：/blog/123.html）

Disallow：/api（比如說：/apifsdfds/123.html也會被屏蔽。）

Allow：/blog/12/（一般情況下不需要寫Allow的，而我們在禁止的目錄下面，我們需要讓搜索引擎收錄，那么我們就可以使用Allow，比如說我們前面禁止了blog欄目下所有的頁面，同時(shí)我們想/12/欄目下被收錄，這個(gè)時(shí)候我們就需要通過Allow來允許搜索引擎的收錄。）

Disallow：*?*（只要你的路徑里面帶有問號的路徑，那么這條路徑將會被屏蔽

Disallow：/*.php$（意思是以.php結(jié)尾的路徑全部屏蔽掉。）

對于robots.txt文件的重要性想必很多站長都深有體會。如果濟(jì)南網(wǎng)站建設(shè)不重視這些書寫的小細(xì)節(jié)的不僅會失去robotss.txt原有的效果，還會引起不必要的反效果。