除Embedding部门，“LangChain+LLM”（图2）链路内的其他组件也有进一步优化的空间：

　　为了不召回漏掉，直观的处置办法包罗低落类似度阈值（similarity score threshold）和增长召回数目（top_k），但这难免会引入无关的常识点噪声且增长和LLM交互的token开消。

　　▪ 答复准确度更高，基于相干文档中的最相干特定段落停止语义搜刮能消弭查询歧义以天生更准确的谜底

　　为了打造特定范畴（Domain-specific Knowledge）的常识问答体系感情美文电台，我们需求借助供给了外挂常识库的搜刮计划LangChain框架。

　　除用LLM Wrapper能够接入浩瀚的大模子（如 OpenAI、Cohere、Hugging Face），LangChain同时也经由过程VectorStore Wrapper接口集成了支流的向量数据库（如 Milvus、Pinecone、Chroma等）来优化语义搜刮。LangChain能接入的数据范例涵盖了文本、PPT感情美文电台、图片、HTML、Pdf等非构造化文件。相较于传统数据库的准确搜刮，即完整婚配情侣分离小故事，向量数据库利用最临近（Approximate Nearest Neighbor，ANN）算法和类似度襟怀（如余弦类似度，内积等）来找到和查讯问题最类似的向量感情美文电台。基于当地常识库问答的大抵流程以下：

　　因为大模子在垂直行业范畴的问答结果仍有待提拔，因而，范畴常识的注入成了最间接的处理计划之一。常识注入办法能够分为范畴微调（Fine-tuning）和外挂常识库（Knowledge Base）两种情侣分离小故工作侣分离小故事。

　　今朝相似于以上优化思绪曾经落地的有“录问”法令大模子 [6]，其基座模子为Baichuan-7B。录问常识加强的完好链路如图3。值得留意的是，录问在常识库中对每个常识点是以 [key, value] pair 情势存储的。key是常识点的内容简介，用于检索；value是常识点的详细内容，用于模子输入。完成细节请参照其Hugging Face堆栈。

　　相似于Bert时期的垂直范畴问答体系，我们能够将语义检索和传统的Elasticsearch（ES）枢纽词搜刮并行，对二者停止加权打分投票来获得终极的top_k。

　　原题目：大模子手艺理论（三）｜10分钟用LangChain和Llama 2打造心灵疗愈机械人

　　提拔问答体系的精度能够从企图辨认和召回优化两个角度思索，且二者都能够用枢纽词暗示，即从间接将用户query和常识点停止embedding改变为对二者提取枢纽词后再停止婚配。企图辨认能够经由过程枢纽词提取（Information Extraction, IE）和槽位添补（Slot Filling，SF）完成。：

　　但大模子高低文窗口长度的限定和Prompt的机关等身分带来的潜伏精度降落也需求归入常识库构建的考量。

　　操纵LLM思想链（Chain-of-Thought，COT）的提醒才能来指导用户多轮对话并停止信息总结。针对我们的心灵疗愈机械人的场景，好比用户查询心灵鸡汤的句子，那末就请求用户的供给年齿段，感情成绩和感情需求等信息。语义槽格局以下：

　　外挂常识库的素质在于不修正基座模子参数，经由过程提醒词工程（Prompt Engineering）将特定常识作为prompt中的context，即召回相干性最高的几个文档情侣分离小故工作侣分离小故事，让模子阐发这些包含常识后，并返答复案。常识库合适请求输出明白且精度高的使命感情美文电台情侣分离小故事。

　　外挂常识库将用户成绩和当地常识向量化，比力二者的向量类似度（Vector Similarity）停止召回。但是，这类全量的Embedding-Search在面临多常识点聚合处置的场景下，存在召回精度低的成绩。由于常识库的构建是对单个常识点停止索引，而非对差别常识点的布列组合别离索引感情美文电台。

　　i. 对不异常识点成立多级索引，有助于完成对维度查询。好比对一名奥运冠军的姓名，比赛项目，年齿，获奖工夫等别离成立索引。

　　▪ 试错本钱较高，特定范畴数据普通难以笼盖模子已学到的参数，且能够会招致模子其他下流使命的表示降落

　　文本切分后，我们需求将文本停止向量化暗示，将其映照为低维浓密的向量并存储到然向量数据库中。向量数据库选用了无需注册的FAISS。

　　LangChain关于差别格局的数据源内置了差别的剖析剧本，终极这些数据都将转换为纯txt文本格局，以完成文本尺度化。

　　文本切分中的chunk_size指定了切分后的文本块的字数，chunk_overlap指定了切分文本块之间的堆叠字数感情美文电台。因为鸡汤援用文本总长度较短，且文本内部语义联系关系度高，以是这里的chunk_size设置为50，chunk_overlap设置为20。

　　今朝，我们曾经拆解完了LangChain+LLM文档问答的大抵链路，接下来我们正式进入实战环节。

　　ii. 将常识库转化为以干系三元组为中心的常识图谱。三元组的抽取除传统的定名实体辨认（NER）等办法，也能够经由过程prompt让大模子来停止抽取。

　　本期文章带你基于“LangChain+LLM”框架快速搭建了常识加强后的问答机械人--心灵疗愈师，并讨论了提拔模子的内容了解和施行才能的潜伏优化标的目的。下期文章我们将深化解读今朝支流的大模子微调手艺，敬请等待～

　　上期文章我们完成了Llama 2-chat-7B模子的云端布置和推理，本期文章我们将用“LangChain+Llama 2”的架构打造一个定制化的心灵疗愈机械人。有相干常识布景的读者能够间接浏览「实战」部门。

　　微调是经由过程大批特定用例的增量数据对根底模子停止进一步锻炼，改动其神经收集中的参数权重。微调合用于使命或域界说明白，且有充足的标识表记标帜数据的场景，好比气势派头微调。今朝经常使用的微调办法包罗Freeze，P-tuning和LoRA，相干细节会鄙人期文章中具体引见。