本地使用 Ollama 驱动 Llama 3，Phi-3 构建智能代理（附代码）

本文介绍如何使用langchain中的ollama库实现低参数Llama 3，Phi-3模型实现本地函数调用及结构化文本输出。

函数调用介绍

函数调用的一个很好的参考是名为 “Gorilla” 的论文，该论文探讨了函数调用的概念，并提供了一个函数调用排行榜。通过这个排行榜，我们可以了解哪些模型擅长函数调用。

例如，我们可以看到 Llama 3 70 亿参数模型在排行榜中位列第七，而 8 亿参数的 Llama 3 模型也在榜单中，尽管性能不及前者，但仍然表现不错。

使用 Ollama 设置 Llama 3 模型

首先，我们来看一个简单的示例，设置 Llama 3 模型并使用 Ollama 进行函数调用。以下是相关代码：

from langchain import Ollama, ChatPromptTemplate, StringOutputParser # 设置 Ollama 模型 llm = Ollama(model_name='llama3') # 设置提示模板 prompt_template = ChatPromptTemplate.from_template("Write me a 500-word article on {topic} from the perspective of {profession}") # 创建字符串输出解析器 output_parser = StringOutputParser() # 调用模型生成文章 response = llm(prompt=prompt_template.format(topic="AI", profession="engineer"), output_parser=output_parser) print(response) 

在上述代码中，我们定义了一个简单的提示模板，并使用 Ollama 生成一个 500 字的文章。我们还可以通过设置 keep_alive 属性来保持模型在内存中的活跃状态，避免每次运行时重新加载模型。

生成 JSON 输出

接下来，我们来看如何让 Llama 3 模型生成结构化的 JSON 输出。以下是相关代码：

from langchain import JSONOutputParser # 定义 JSON 模式 json_schema = { "type": "object", "properties": { "name": {"type": "string"}, "age": {"type": "integer"}, "hobbies": {"type": "string"} }, "required": ["name", "age"] } # 设置提示模板 prompt_template = ChatPromptTemplate.from_template("Extract the following information in JSON format: {schema}") # 创建 JSON 输出解析器 output_parser = JSONOutputParser() # 调用模型生成 JSON response = llm(prompt=prompt_template.format(schema=json_schema), output_parser=output_parser) print(response) 

在上述代码中，我们定义了一个 JSON 模式，并使用 Ollama 生成符合该模式的 JSON 输出。通过设置模型的输出格式为 JSON，可以提高生成结构化输出的概率。

使用 Pydantic 定义结构化输出

我们还可以使用 Pydantic 定义一个类，用于提取结构化输出。以下是相关代码：

from pydantic import BaseModel from langchain import StructuredOutputLLM # 定义 Pydantic 类 class Person(BaseModel): name: str height: float hair_color: str # 设置提示模板 prompt_template = ChatPromptTemplate.from_template("Extract the following information in JSON format: {context}") # 创建结构化输出 LLM structured_llm = StructuredOutputLLM(llm, output_class=Person) # 调用模型生成结构化输出 context = "Alex is 5 feet tall, Claudia is 6 feet tall, Claudia has brown hair." response = structured_llm(prompt=prompt_template.format(context=context)) print(response) 

在上述代码中，我们使用 Pydantic 定义了一个 Person 类，并使用 Ollama 生成符合该类的结构化输出。

使用工具和函数调用

最后，我们来看如何使用 Ollama 的新功能进行工具和函数调用。以下是相关代码：

from langchain import OllamaFunctions # 定义工具函数 def get_current_weather(location: str, unit: str = "Celsius"): # 这里是获取当前天气的实现 pass # 设置工具和函数调用 tools = {"get_current_weather": get_current_weather} ollama_functions = OllamaFunctions(llm, tools=tools) # 调用模型进行函数调用 question = "What is the weather in Singapore?" response = ollama_functions(prompt=question) print(response) 

在上述代码中，我们定义了一个获取当前天气的工具函数，并使用 Ollama 进行函数调用。模型会根据输入的问题，自动调用相应的工具函数并返回结果。

通过以上示例，我们展示了如何在本地使用 Ollama 和 Llama 3 模型进行函数调用、生成 JSON 输出、定义结构化输出以及使用工具和函数调用。这些方法可以帮助我们在本地构建智能代理，而无需依赖云服务。

参考资料：

1.Function Calling with Local Models & LangChain - Ollama, Llama3 & Phi-3

2.论文：Gorilla: Large Language Model Connected with Massive APIs