编者按:前两周简要地给大家介绍了搜索抓取系统工作原理,根据该工作原理今天简要介绍一下如何建立网站是符合搜索引擎抓取系统习惯的。
1、简单明了的网站结构
Spider抓取相当于对web这个有向图进行遍历,那么一个简单明了结构层次分明的网站肯定是它所喜欢的,并尽量保证spider的可读性。
(1)树型结构最优的结构即“首页—频道—详情页”;
(2)扁平首页到详情页的层次尽量少,既对抓取友好又可以很好的传递权重。
(3)网状保证每个页面都至少有一个文本链接指向,可以使网站尽可能全面的被抓取收录,内链建设同样对排序能够产生积极作用。
(4)导航为每个页面加一个导航方便用户知晓所在路径。
精彩推荐