基于正倒排索引的 Boost 搜索引擎

一、预处理：把网页洗成结构化文本#

parser 负责离线那一段：递归遍历语料目录取出所有 HTML，用状态机去掉 HTML 标签只留正文，单独截出 <title> 作为标题，再根据本地路径反推出这篇文档在 Boost 官网的地址，方便结果里直接点回原文。

清洗时有几个细节：原始 HTML 的换行和连续空白会被压掉（换行要留给自己当文档分隔符用），每篇文档按 标题 \3 正文 \3 原文链接 的格式写成一行 —— 用不可见字符 \3 当分隔符，是因为它几乎不可能出现在正文里，比用换行更安全。8563 篇 HTML 洗出 8563 行，一篇没丢。

二、建索引：正排 + 倒排各司其职#

这是搜索引擎最核心的一步，也是我花时间最多的地方：

1
std::vector<DocInfo> forward_index;                           // 正排：数组下标就是文档 ID
2
std::unordered_map<std::string, InvertedList> inverted_index; // 倒排：词 → 文档列表

• 正排索引回答”第 N 篇文档的标题、正文、链接是什么”。用 vector 存、下标天然就是文档 ID，取一篇文档是 O(1)。
• 倒排索引回答”哪些文档包含这个词”。每个词对应一条”倒排拉链”，链上挂着 {文档 ID, 权重}。
• 两者缺一不可：倒排负责找到，正排负责讲清楚（结果里的标题、摘要、链接都是靠文档 ID 回正排取的）。

打分用的是最简单的相关性信号 —— 词出现在标题里比出现在正文里重要：

1
// 权重系数：标题词频权重远高于正文词频，体现标题关键词的重要性
2
item.weight = 10 * title_cnt + 1 * content_cnt;

建索引时对每篇文档的标题和正文分别统计词频，再按上面的公式合成权重写进倒排拉链。

三、检索：分词 → 召回 → 排序 → 摘要#

一次搜索走四步：

1. 分词：把查询词交给 cppjieba 切分（跟建索引用的是同一套词典和停用词表，保证”怎么建的就怎么查”）；
2. 召回：对每个词取出倒排拉链，把命中的文档汇总到一张 文档 ID → 权重 的表里；
3. 排序：按权重降序排列；
4. 生成结果：回正排索引取出标题和原文链接，再按关键词开窗生成摘要 —— 找到命中的词在正文里第一次出现的位置，往前取 50 字节、往后取 100 字节，拼成一段预览。

最后用 jsoncpp 序列化成 JSON 返回，转义交给库处理，不用手写字符串拼接。

四、对外服务与前端#

服务端只有 28 行：用 cpp-httplib 起一个 HTTP 服务，把 wwwroot 设为静态目录，再注册一条 GET /s：

1
svr.set_base_dir("./wwwroot");
2
svr.Get("/s", [&search](const httplib::Request &req, httplib::Response &rsp) {
3
    std::string word = req.get_param_value("word");
4
    std::string json_string;
5
    search.Search(word, &json_string);
6
    rsp.set_content(json_string, "application/json");
7
});
8
svr.listen("0.0.0.0", 8081);

前端是一个纯静态页面：一个搜索框 + 结果列表，用 ajax 请求 /s?word=关键词，把返回的 JSON 渲染成”标题 / 摘要 / 原文链接”。