天津快乐十分杀号网易|下载天津快乐十分助手手机版
全网seo排名优化中心,专做网站优化排名,定制高端网站建设,10年的seo优化经验,让你网站有排名不是问题,专业的事,交给专业的人来做,选择我们靠谱。

SEO外包
专业的SEO外包公司,五年经验沉淀
为企业创造价值,我们懂技术,更懂营销

网站优化过程中应该抓取的内容有什么

2018-06-02 15:20
文章来源:天立中泰  关注度:
网站优化过程中应该抓取的内容有哪些呢?首先要了解什么是robots文件,比如,在马海祥博客的首页网址后面加入“/robots.txt”,即可打开该网站的robots文件,如图6-32所示。文件里显示的内容是要告诉搜索引擎哪些网页希望被抓取,哪些不希望被抓取。因为网站中有一些无关紧要的网页,如“给我留言”或“联系方式”等网页,它们并不参与SEO排名,只是为了给用户看,此时可以利用robots文件把它们屏蔽,即告诉搜索引擎不要抓取该页面。
蜘蛛抓取网页的精力是有限的,即它?#30475;?#26469;抓取网站,不会把网站所有文章、所有页面一次性全部抓取,尤其是当网站的内容越来越多时,它?#30475;?#21482;能抓取一部分。那么怎样让它在有限的时间和精力下?#30475;?#25235;取更多希望被抓取的内容,从而提高效率呢?
“百度百科”中提到“有些人会问,既然robots文件没弄好或出错了,会影响整个网站的收录,那为什么还要这个文件呢?”这句话中的“出错了”是指将不该屏蔽的网址屏蔽了,导致蜘蛛不能抓取这些页面,这样搜索引擎就不会收录它们,那何谈排名呢?所以robots文件的格式一定要正确。
再回到上面的问题,“百度百科”给出的回答是“其实robots文件是为特定需要的本节介绍了robots文件的主要用途。再举一个案例,某个网站以前是做减肥药的,现在要做汽车,所以网站的内容要全部更换。删除有关减肥药的文章,这样会出现大量404页面、很多死链接,而这些链接以前已经被百度收录,但网站更换后蜘蛛再过来发现这些页面都不存在了,这就会留下很不好的印象。此时可以利用robots文件把死链接全部屏蔽,不让百度访问这些已不存在的页面即可。
使用robots文件应该注意什么呢?首先,在不确定文件格式怎么写之前,可以先新建一个文本文档,注意robots文件名必须是“robots.mt”,其后缀是“txt'’且是小写,不可随意更改,否则搜索引擎识别不了。然后打开该文件,可以直接复制?#31243;?#20182;人的格式,如图6-35所示,robots文件格式是一条命令一行,下一条命令必须换行.还有“Disallow:”后面必须有一个空格,这是规范写法。
图6-35中的所有命令都表示不允许搜索引擎抓取这些页面。结合博客(网址:www.mahaixiang.cn)的文章来说,比如,我不想让搜索引擎抓取如图6-36所示的文章,可以在图6-35中接着写“Disallow?#28023;痺zjc/881.html”,表示禁止搜索引擎抓取该网页。
注意,首页的网址不要出现在robo~文件中,只需写上被禁止抓取的页面网址中除首页域名以外的部分即可。
如果写成“Disallow?#28023;痺zjc/”,则表示屏蔽图6-37中板块里的所有文章,蜘蛛抓取不到其中任?#25105;?#31687;,也就意味着这些文章都不参与排名。但如果写成"Disallow?#28023;痺zjc”,最后面少了一个“/”,这就表示屏蔽该网站中网址前部包含“/wzjc”的所有网页,如“www.mahaixiang.c~/wzjc333/'’或一个具体的网页“www.mahaixiang.cn/wzjc3465.html”等,都不能披蜘蛛抓取。这?#20013;?#27861;有一个?#20040;Γ?#27604;如,我的网站有很多分页,这些分页的网址如图6-38所示极有规律,前部分完全相同,只是最末尾的数字不一样‘如果想屏蔽所有分页,即可写成“Disallow?#28023;痗at/?page”,不需要逐条写出。
服务范围 Service
经典案例 Classic case
天立中泰专业服务 Construction process

您可以在线咨询...

185-0083-1368

(+086)18500831368

?#26412;?#24066;朝阳区垡?#21453;?#22478;馨园412#13层

关注有惊喜

Copyright ? 2013-2018 ?#26412;?#22825;立中泰科技有限公司 ?#26412;㏒EO外包公司 版权所有 网站地图
天津快乐十分杀号网易 尤文图斯vs马德里竞技 免费视频直播西班牙人对巴塞罗那 富勒姆新球场效果图 圣埃蒂安vs伊维恩 第戎蛋糕官网 图卢兹 午夜的巴塞罗那 曼联vs瓦伦西亚视频 国际米兰2018 切尔西vs巴黎圣日耳曼