一般人的搜索思路是通过关键词来查找内容中是否包含该关键词。假设要从序号为1-10的10个网页中搜索包含“关键字布局”的网页。搜索这10个网页的全文，看是否包含“关键词布局”一词，然后返回包含该词的网页的序号。但如果是从几百万、几千万的网页中进行搜索，速度会很慢，所以就发明了倒排索引的概念。 （下图中数据非实际数据，仅供说明）

如上图所示，是最简单的倒排索引模型（DocID是搜索引擎为抓取到的网页分配的唯一编号）。搜索引擎爬虫每次抓取网页时，都会将网页分成若干词组，并将这些词与倒排索引表一一进行比较：如果倒排索引表的“关键词”列中包含该词，则将其添加到倒排索引表中。将当前网页的DocID号添加到其对应的倒排列表中；如果没有，则添加一行（涉及生词识别，这里不展开），给这个关键字分配一个ID，然后写入当前网页的页码。这样，当我们查询“关键词1”时，我们很快就可以知道相关的网页是(1,2,3,5)。如果把比较复杂的查询词分成三个词：“关键词1”、“关键词3”、“关键词6”，也可以快速查询到相关网页（1、2、3、5、6、7、 9).

仅此还不足以对搜索结果进行排序。在不作弊的情况下，某个关键词在网页中出现的次数越多，则该关键词越有代表性。前提是必须过滤停用词（几乎每个网页中停用词都很多，但不能是表达任何特定含义的词，例如：“的”、“是”、“了”等）。如果我们能够在倒排索引表中添加关键词在网页中出现的频率（简称：词频——TF）信息，就可以对网页进行排序。如下图所示：当我们的查询词被分割为“关键词1”和“关键词2”时，相关网页可以排序为（3,5,1,2）。

假设有两个网页1和2，倒排索引中的信息如下：

我们搜索“关键词如何布局”，搜索词分为“关键词”、“如何”、“布局”。在网页1中，“关键词”、“如何”、“布局”分别出现在网页2、2、2中。次，共6次； “How”和“Layout”在网页2中一共出现了7次。按照前面的逻辑，最终的搜索结果排序为(2,1)。这显然不是一个理想的排序结果。网页2的主题显然是关于“如何布局Go”。这时就需要引入IDF（Inverse DocumentFrequency Index）来解决这个问题。

如果网页集合中包含某个关键词的网页较少，则该关键词具有较好的网页区分能力。因此，IDF越大，权重越高。假设上图中“keywords”、“how”、“layout”、“Go”的IDF分别为2.5、0.3、0.8、3。将每个词的TF乘以IDF再求和，得到网页1和2，相关性分别为：7.2和4.6，所以搜索“关键词如何布局”的排序结果为(1,2)，这更现实。

关键词的位置信息也是很重要的一点。一般认为，标题中出现的关键词比正文中出现的相同关键词更能体现网页的主题特征。这就是H标签的重要性。搜索引擎还可以根据代码布局和噪声比（例如停用词的频率）来确定哪里是导航、哪里是正文、哪里是侧边栏等。这些位置信息将被标记在倒排索引列表中并参与排序决策。

此外，还有一些其他常用的技术方法，例如：二词索引/短语索引。 “如何布局关键词”并不一定意味着分成三个简短的词。还可能拆分为“关键词布局”、“Word如何布局”、“如何布局”等；相关词合并搜索，“keyword”与“keyword”一词相关，“how”与“how”一词相关，等等。

二、关键词如何布局

1、标题中必须有关键词，但不一定是完整的问题。

由于搜索引擎会将查询词分为N个词、双词、短语，并添加相关词来合并查询，因此标题中的关键词不一定是一个完整的问题。一个典型的例子就是“做哪家公司最好？”标题中不一定需要这个完整的词。即使标题包含这个完整的短句，也无法匹配其他完整的短句。一个高质量的网页往往可以匹配成百上千个长尾关键词。显然，一个标题不能与其他完整的短句相匹配。大概都包括在内了。标题的另一个重要作用是吸引点击，点击率也是影响排名的因素，但核心词“XXXX”、“好”、“公司”一定要出现。

2、课文自然、均匀地分布着一些核心词和分段词。

在搜索引擎开发初期，很多技术人员利用权重较高的TF*IDF算法的漏洞，堆积大量关键词，以快速获得更好的搜索排名。后来，搜索引擎修复了算法层面的漏洞，打击作弊，网络上流行的“理想关键词密度为3%到8%”的观点出现。首先这个密度并不是计算完整的查询词，而是分词后的所有词。在实践中，你会发现有关键词密度略低于3%的网页，也有关键词密度远高于8%的网页。可以获得不错的排名。

如果你是一名搜索引擎工程师，你会做什么？我想我会结合全网的历史访问数据（比如百度统计、手机百度等可以获得更全面的访问数据）和关键词密度信息来划定一个合理的范围和预警范围。超出警戒范围的，将予以沉默处理。在预警范围内，将结合网站的历史数据和第一阶段小流量排名的访问数据反馈来决定是否压制或维持或给予较高的排名。

相比关键词密度，我们更应该关注语言的流畅性（盲目插入关键词会显得罗嗦、别扭）和内容的质量和深度。毕竟，搜索引擎排名因素有数百甚至数千个，所以你不能忽略一个而忽略另一个。