?!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> robots.txt文件
<thead id="x1h75"></thead>
<menuitem id="x1h75"></menuitem><cite id="x1h75"><strike id="x1h75"></strike></cite>
<var id="x1h75"></var>
<var id="x1h75"><strike id="x1h75"></strike></var>
<cite id="x1h75"></cite>
<menuitem id="x1h75"></menuitem>
<var id="x1h75"><strike id="x1h75"><progress id="x1h75"></progress></strike></var><var id="x1h75"></var>
<var id="x1h75"></var>
<menuitem id="x1h75"></menuitem><var id="x1h75"><strike id="x1h75"></strike></var>
首页 >> 网络营销词典 >> 网络营销术语及概?/a> >> robots.txt文件

robots.txt文件[编辑]


概述
robots.txt文件是存放在网站根目录下的一个纯文本文件,而且能通过互联网进行访问。通过robots文件设置,可以指定搜索引擎蜘蛛只抓取指定的内容,或者禁止抓取网站的部分或全部内容?/div>

一、robots.txt在哪

robots.txt是存放在网站根目录下的一个纯文本文件,而且该文件是可以通过互联网进行访问的。例如:网络营销教学网站的网址?a href="http://www.www.mankophoto.com/" target="_blank">http://www.www.mankophoto.com/,如果网络营销教学网站设置了robots.txt文件,那么,通过http://www.www.mankophoto.com/robots.txt是可以打开并看到里面的内容的?/p>

二、robots.txt文件作用

robots.txt文件可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。当网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt文件。如果希望搜索引擎收录网站上的所有内容,请勿建立robots.txt文件?/p>

三、robots.txt文件设置

?)先检查网站是否设置了robots.txt文件。检查方法是直接访问网站域名/robots.txt,例如www.mankophoto.com/robots.txt,如果能正常访问,说明该网站设置了robots.txt文件;反之,则没设置?/p>

?)如果没设置,可以新建一个txt格式的文本文档,文件名为robots.txt?/p>

?)借助站长工具?ldquo;robots文件生成”工具生成代码?/p>

?)将生成的代码复制到txt文件中,将robots.txt文件上传到FTP根目录?/p>

?)再次检查网站域?robots.txt是否可以正常访问?/p>

?)如果网站有地图,可将网站地图网址空一行放在robots文件中。设置网站地图链接,方便引导搜索引擎蜘蛛爬取页面?/p>

四、robots文件生成

robots文件生成工具:http://tool.chinaz.com/robots/

参考资料:
扩展阅读?
合作编辑?

网络营销词典内容均由网友提供,仅供参考。如发现词条内容有问题,请发邮件至info # www.mankophoto.com?/p>

词条信息

浏览次数?span id="_wiki_visit_Count">20

编辑次数?span id='_wiki_edit_Count'>0历史版本

创建者: 吴清

最近更新:2017/7/5 3:49:10

词条分类导航

关于网络营销教学网站| 本站动?/a>| 网站地图| 版权声明| 联系作?/a>| 问题和建?/a>|

版权声明:网络营销教学网站所有作品版权均归原作者所有,未经书面许可,严禁任何形式的转载/转贴、出版、篡改、汇编、编译等?/p>

3Ͷע