大型网站SEO页面生成机制和数据分析

页面自动生成机制，指的是从导词-上线-调优的整个过程，机器自动生成，人工辅助调参的。适用于拥有大数据量的站点。并且很久之前就有人在用了，算是古老的套路了。 当然小站点、新站点也不是不成以，只不过需要度过资源空短期。 好比这是14年收的一个小单站

页面自动生成机制，只的是从“导词-上线-调优”的整个过程，机器自动生成，人工辅助调参的。适用于拥有大数据量的站点。并且很久之前就有人在用了，算是古老的套路了。

当然小站点、新站点也不是不成以，只不过需要度过资源空短期。

好比这是14年收的一个小单站，之前SEO流量就没超过1万，年底做了部分“页面自动生成机制”，很粗糙，然后等了3个没动静，第4个月终于开始有变革，然后流量一直涨涨涨涨，之后一直不变在10万摆布，又掉又涨，过了一年后，开始掉掉掉，因为系统长时间不调整，灌进来很多垃圾词和垃圾数据。

好比这是本年初做的微小规模的站群，同样的套路，但是因为经过一年多的各种折腾，程序开发上的能力比之前牛逼许多，所以上数据的速度和规模也比之前大很多。一个半月流量从0到1万，然后因为某次系统更新，新上了一套模板，URL格式与之前的页面一样，好比都是：domain.com//.html，造成了URL路由负责冲突，导致一堆页面打开返回500，过了半个多月才知道…..然而任何因为“网站不变性”造成的SEO损失，都是很难逆转的。

下面是“页面自动生成机制”的流程：

关键词导入模块

从各种渠道拉出一批行业词根

围绕这些词根去挖词

挖出的词，过滤掉涉嫌违禁、擦边、敏感、自定义黑名单、重复的词

因为各种扩词渠道，扩出的词可能与所属词根，完全不相关。所以需要计算一下扩展词与对应词根的字符串相似度，相似度高的，则为同一类词。

好比 “奥迪二手车价格” 的扩展词有 “5万以内二手车

” 和 “奔腾二手车价格”；

“奥迪二手车价格”与“奔腾二手车”的相似值为：0.71875

“奥迪二手车价格”与“5万以内二手车”的相似值为：0.3750

相似值>=0.45的为同类词，则“奥迪二手车价格”与“奔腾二手车”是相关的，“奥迪二手车价格”与“5万以内二手车”是不相关的。

相关且有搜索量的词，，进入该行业频道的词表，生成的页面给予最大的资源支持；相关但无搜索量的，给予较小的资源支持；不相关但有搜索量的，进入初始搜索词表，该词不归属于任何一个行业；不相关还没搜索量的，直接删除。

初始搜索词表中的词，依次通过相似度计算出与该词最相关的N个搜索词，作为“相关保举”板块的链接调用的逻辑。

内容获取模块

针对行业频道词表的词，依次抓取每个关键词的相关信息，信息来源如抓取各类搜索引擎搜索结果的正文、各类门户搜索结果的正文等等

过滤掉涉嫌违禁、擦边、敏感、自定义黑名单、重复的内容

剩余内容写入内容数据表

页面生成模块

差别类型站点，页面自动生成机制的模型差别，本渣渣用过仅是“纯信息展示”类的站点。

如果网站是一个多边产品，那在模型的设计上需要考虑更多的因素，好比涉及B端和C端的平台产品，SEO页面的设计上还需要考虑对B端流量分发均衡的情况等。