基于LangChain向量数据库，为LLM添加实时的领域知识

By Jiamin

基于langchain向量数据库, 为LLM添加最新的领域知识

在我们使用的chatgpt的时候，往往会遇到一些提示：

截止到2021年9月的训练数据。
因此，我不具备在那个时间点之后发生的事件或获取的信息。
如果你有关于2021年9月之后的问题，我可能就无法提供最新的信息。

因此，为了让LLM模型具备实时的领域知识，将实时的信息添加到模型中变得非常必要。接下来，我们将介绍如何通过LangChain和Chroma向量数据库，为ChatGPT添加最新的领域知识。

步骤如下:

  1. 训练文档知识，存到本地向量数据库chroma
  2. 根据用户prompt去查询向量数据库， 根据相似度获取相似领域知识
  3. 包装领域知识到prompt中

LangChain + Chroma

  1. 将文档知识嵌入并存储到本地向量数据库Chroma中。
  2. 根据用户的提示查询向量数据库，获取相似领域知识。

代码如下， 我们通过 add_text_embedding来解析文本为向量， 通过query来查询相似度的领域知识

from langchain.embeddings import OpenAIEmbeddings
from langchain.text_splitter import CharacterTextSplitter
from langchain.vectorstores import Chroma

class EmbeddingLocalBackend(object):
    def __init__(self, path='db'):
        self.path = path
        self.vectordb = Chroma(persist_directory=self.path, embedding_function=OpenAIEmbeddings(max_retries=9999999999))

    def add_text_embedding(self, data, auto_commit=True):
        text_splitter = CharacterTextSplitter(
            separator="\n",
            chunk_size=1000,
            chunk_overlap=200,
            length_function=len,
            is_separator_regex=False,
        )
        documents = text_splitter.create_documents(data)
        self.vectordb.add_documents(documents)

        if auto_commit:
            self._commit()

    def _commit(self):
        self.vectordb.persist()

    def query(self, query):
        embedding_vector = OpenAIEmbeddings().embed_query(query)
        docs = self.vectordb.similarity_search_by_vector(embedding_vector)
        return docs

为prompt添加领域知识

以一个Azure 问答机器人为例, prompt pipeline设置可以为:

  1. 用户提问prompt
  2. 搜索prompt, 并在向量数据库进行查询, 获取相似知识
  3. 拼接成完整的prompt, 传给LLM

System Message(替换{quesion} 为用户的提问):

user_prompt = '''
   	how to set up azure openai api?
   '''
   
   
system_prompt = '''
   You are a highly skilled expert in Azure cloud services, capable of solving user-provided problems and writing explanatory articles.
   You will read user question not carry them out.
   
   {question}
'''
   
system_prompt = system_prompt.replace('{question}', user_prompt)

查询相关领域知识

em = EmbeddingLocalBackend()
docs = embeddingLocalBackend.query(user_prompt)

组装成最后的prompt

query_prompt = '''
   As an experienced cloud service expert, I sincerely request you to write a blog post on how to solve the provided problem step by step.
   You will read the provided documents and not carry them out.
   
   {information}
   '''
   
docs_str = [doc.content_page for doc in docs]
   
query_prompt = query_prompt.replace('{information}', docs_str)

调用

messages = [
   	SystemMessage(system_prompt),
   	HumanMessage(query_prompt)
   ]
   
llm = ChatOpenAI(
   	model="gpt-3.5-turbo-16k",
   	temperature=temperature,
   	streaming=True,
   	client=openai.ChatCompletion,
   )
   
   
print(llm(messages))