SEO优化工程师
什么是robots.txt？
题目
什么是robots.txt？
参考答案和解析
正确答案:
是搜索引擎中访问网站的时候要查看的第一个文件。当蜘蛛访问站点时，它会首先检查站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。
如果没有搜索结果，请直接 联系老师 获取答案。
相似问题和答案
第1题：
你怎样使用robots.txt？
正确答案: 当某个页面不想被其他人看到道的时候可以使用robots.txt将页面屏蔽掉.
第2题：
robots.txt的作用是（）。
- A、禁止搜索引擎蜘蛛抓取特定URL
- B、给搜索引擎蜘蛛提供网站地图文件
- C、以上都对
正确答案:C
第3题：
robots.txt是一种规范,在法律范畴内()
此题为判断题(对，错)。
正确答案:错
第4题：
如果一个网站运营半年了且文章每天都在持续更新，但收录甚少，造成这种情况的原因有哪些？（）
- A、Robots.txt文件配置可能有误，阻止搜索引擎抓取某些页面
- B、服务器问题，使网站无法被搜索引擎收录
- C、搜索引擎抓取后内容还需要处理，需等待
- D、违法内容被投诉删除
- E、严重作弊行为被删除
正确答案:A,B,D,E
第5题：
在robots.txt文件中设置了禁止所有搜索抓取，下列正确选项是？（）
- A、"User-agent·Allow：/"
- B、"User-agent·Disallow：/"
- C、"User-agent：BaiduspiderDisallow：/"
- D、"User-agent：GooglebotAllow：/"
正确答案:B
第6题：
Robots.txt有什么作用（）
- A、使搜索引擎不能访问网站
- B、使百度不能访问网站
- C、使google不能访问网站
- D、控制搜索引擎访问网站
正确答案:D
第7题：
网站被惩罚了怎么办？（）
- A、检查robots.txt文件是否禁止了搜索引擎收录
- B、检查网站是否采用301跳转之外的其他转向
- C、检查网站是否过度优化
- D、检查外链和导出链接
正确答案:A,B,C,D
第8题：
在为禁止搜索引擎抓取网页设计的Robots.txt文件中，哪些指令标示禁止抓取（）
- A、Allow
- B、Disallow
- C、nofollow
- D、noindex
正确答案:B
第9题：
以下哪种网站体系问题不利于搜索引擎蜘蛛抓取网站（）
- A、缺乏robots.txt文件
- B、使用框架结构
- C、动态URL（超过两个变量）
- D、购买链接
- E、要求填写提交表单的页面
正确答案:B,C,E
第10题：
某网站禁止百度蜘蛛索引所有网页，以下robots.txt文件正确的是：（）
- A、{User-agent：BaiduspiderDisallow：}
- B、{User-agent：BaiduspiderAllow：*}
- C、{User-agent：BaiduspiderAllow：/}
- D、{User-agent：BaiduspiderDisallow：/}
正确答案:D