百度搜索资源平台移动专区平台任务,详细阅读robots文档,阅读完毕后可完成测验题,全部答对可获得加分。

1、如果想要网站全部被百度收录,该不该建立 robots.txt 文件

A:应该
B:不应该

2、robots.txt 文件的作用是什么?

A:能够更好的吸引搜索引擎抓取页面
B:能够指定 spider 在你网站上的抓取范围
C:能够提供搜索结果出图效果
D:没有什么用

3、robots.txt 文件应该放在哪个位置?

A:放置在网站根目录下
B:放置在对应页面中

4、下面 robots.txt 文件内字段描述错误的是:

A:User-agent:描述自己站点和页面的名称
B:Disallow:描述不希望被访问的一组 URL
C:allow:描述希望被访问的一组 URL
D: * 匹配 0 或多个任意字符

5、robots 工具目前支持 48K 的文件检测,最长不超过 250 个字符

A:正确
B:错误

Last modification:August 12, 2020
如果觉得我的文章对你有用,请随意赞赏