SEOSEM培训资讯--上海非凡教育SEO优化培训班什么是robots文件

非凡资讯

上海非凡教育SEO优化培训班什么是robots文件

发布日期：2020/3/18 16:36:51 上海非凡教育SEO优化培训班 12 分享

SEO优化培训老师带你了解什么是robots文件

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

百度搜索升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

如您的网站未设置robots协议，百度搜索对网站视频URL的收录将包含视频播放页URL，及页面中的视频文件、视频周边文本等信息，搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外，综艺影视类长视频，搜索引擎仅收录页面URL。