LangChain4j是一款基于Java的高效、灵活的AI大模型应用框架，专为简化Java应用程序与LLMs（大语言模型）的集成而设计。它提供统一API和模块化设计，支持多种LLM提供商和嵌入模型，以及丰富的工具箱，如AI服务和RAG（检索增强生成）。LangChain4j通过简化集成过程，降低开发成本，助力开发者快速构建和部署AI应用。langchain4j还提供了openAI部分接口免费测试的能力，可以在没有key的情况下学习使用大模型。
UI代码在文末
1、导入相关包
<!-- openai包 --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-open-ai</artifactId> <version>0.32.0</version> </dependency> <!-- 高级工具包，如ai service --> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j</artifactId> <version>0.32.0</version> </dependency> <!-- 日志工具 --> <dependency> <groupId>org.tinylog</groupId> <artifactId>tinylog-impl</artifactId> <version>2.6.2</version> </dependency> <dependency> <groupId>org.tinylog</groupId> <artifactId>slf4j-tinylog</artifactId> <version>2.6.2</version> </dependency> langchain4j是一个还在完善的库，最新版本请查看官网： Get Started | LangChain4j
jdk版本最好使用17，因为它还有一个基于 Spring Boot 3.2 版本，它最低支持jdk17
2、helloword入门
import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; .... public static void main(String[] args) { ChatLanguageModel model = OpenAiChatModel.withApiKey("demo"); String answer = model.generate("你是谁"); System.out.println("answer:" + answer); } 控制台会输出：
answer:我是一个智能助手，可以回答您的问题并提供帮助。您有什么需要我帮忙的吗？
代码里的 demo 是langchain4j给开发者免费使用可调用openai模型（gpt-3.5-turbo）的key，不要在生产环境使用哦。
如果引入的是智普包，那么使用ZhipuAiChatModel替换即可
如果你有自己的key，代码如下配置：
public static void main(String[] args) { // 替换成你自己的URL和key就行 ChatLanguageModel model = OpenAiChatModel.builder() .baseUrl("http://langchain4j.dev/demo/openai/v1").apiKey("demo").build(); String answer = model.generate("你是谁,我是小飞"); System.out.println("answer:" + answer); String answer2 = model.generate("请问我是谁"); System.out.println("answer2:" + answer2); } 控制台输出：
answer:很高兴认识你，小飞。我是一个智能助手，可以回答你的问题和提供帮助。有什么我可以帮助你的吗？
answer2:很抱歉，我无法知道您是谁，因为我是一个虚拟助手，无法直接获取您的身份信息。您可以介绍一下自己，让我更了解您吗？
为什么会这样呢？
由于大模型是无状态的，你要让它知道上下文信息，则需要把你们的会话历史记录也发给它，否则每次都是一次新的会话。langchain4j可以使用ChatMemory管理会话。
3、AiServices和ChatMessage
AiServices 封装了与 LLM 交互的复杂性，使得开发者能够以更自然、更面向对象的方式来与 LLMs 进行交互。
ChatMessage是对话中的一个消息的抽象表示，它包含了4个实现类：UserMessage（用户消息）、AiMessage（大模型回复消息）、SystemMessage（系统消息，如应用的角色和能力）、ToolExecutionResultMessage（用于调用本地应用，可扩展大模型能力）
package org.example; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.service.*; public class Test { interface Writer{ @SystemMessage("请扮演一名作家，根据输入的文章题目写一篇{{num}}字以内的作文") String write(@UserMessage String text, @V("num") int num); } public static void main(String[] args) { ChatLanguageModel chatLanguageModel = OpenAiChatModel.builder() .baseUrl("http://langchain4j.dev/demo/openai/v1").apiKey("demo").build(); // 使用代理模式创建一个作家对象 Writer writer = AiServices.create(Writer.class, chatLanguageModel); String content = writer.write("我的爸爸", 100); System.out.println(content); } } 控制台输出：
我的爸爸是我生命中最重要的人。他不仅是我生活中的导师，还是我永远的支持者。每当我遇到困难时，他总是在我身边给予我鼓励和指导。他教会我坚强，教会我勇敢，也教会我如何面对生活的挑战。他是我心中的英雄，是我无法取代的存在。我爱我的爸爸，他是我生命中最坚定的依靠，也是我永远的骄傲。
4、使用ChatMemory管理上下文
4.1 两种ChatMemory的使用方式
ChatMemory主要用于管理和维护聊天过程中的消息记忆，使得大型语言模型（LLM）能够模拟记住对话上下文的能力
LangChain4j 提供了两种 ChatMemory 的实现方式，如MessageWindowChatMemory 和 TokenWindowChatMemory 。这些实现方式可以根据不同的需求进行选择：
MessageWindowChatMemory：保留最新的 N 条消息并删除旧消息。由于每条消息可以包含不同数量的令牌，因此这种实现方式主要用于快速原型设计。 TokenWindowChatMemory：保留最新的 N 个令牌，并根据配置的token删除较旧的消息，能够更精确地控制上下文窗口的大小。package org.example; import dev.langchain4j.memory.ChatMemory; import dev.langchain4j.memory.chat.MessageWindowChatMemory; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.service.*; public class Test2 { interface NamingMaster { String talk(String desc); } public static void main(String[] args) { ChatLanguageModel model = OpenAiChatModel.builder() .apiKey("demo").baseUrl("http://langchain4j.dev/demo/openai/v1").build(); // 最多保存10条会话 ChatMemory chatMemory = MessageWindowChatMemory.withMaxMessages(10); NamingMaster namingMaster = AiServices.builder(NamingMaster.class) .chatLanguageModel(model).chatMemory(chatMemory).build(); System.out.println(namingMaster.talk("帮我取一个很有中国文化内涵的女孩名字")); System.out.println("-----------------"); System.out.println(namingMaster.talk("换一个")); } } 控制台输出：
岚儿 (Lánér)
-----------------
芷若 (Zhǐruò)
由于使用了ChatMemory管理会话，大模型就理解了 “换一个” 的含义。
如果想指定最大的token数，如下：
// 设置最大token数为1000 ChatMemory chatMemory = TokenWindowChatMemory.withMaxTokens(1000, new OpenAiTokenizer("gpt-3.5-turbo")); token的计算是与模型有关的，所以这里要指定当前使用的是哪个模型。
4.2 memoryId的使用
如果应用需要多个人使用，每个人都要有自己的会话，否则上下文就串了，可以使用memoryId来做区分。
package org.example; import dev.langchain4j.memory.chat.TokenWindowChatMemory; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.model.openai.OpenAiTokenizer; import dev.langchain4j.service.*; public class Test3 { interface NamingMaster { String talk(@MemoryId String userId, @UserMessage String desc); } public static void main(String[] args) { ChatLanguageModel model = OpenAiChatModel.builder() .apiKey("demo").baseUrl("http://langchain4j.dev/demo/openai/v1").build(); NamingMaster namingMaster = AiServices.builder(NamingMaster.class) .chatLanguageModel(model) .chatMemoryProvider(uerId -> TokenWindowChatMemory .builder().id(uerId).maxTokens(1000, new OpenAiTokenizer("gpt-3.5-turbo")).build()) .build(); // 未设置memoryId 默认为 default System.out.println(namingMaster.talk("user1", "帮我取一个很有中国文化内涵的女孩名字")); System.out.println("-----------------"); System.out.println(namingMaster.talk("user2", "换一个")); } } 控制台输出：
岚娜 (Lan Na)
-----------------
换一个什么？请问你需要什么样的帮助呢？
可以看到user2给大模型发消息： “换一个” ，大模型当做了一个新的会话了，这样就与user1隔离了。
5、大模型与外部系统交互
当大模型需要调用外部工具来获取特定信息或执行特定任务时，需要使用Tool，它提供了这些工具的必要信息，使得大模型能够理解工具，然后正确地调用它 。
使用场景
例如，在构建聊天机器人或智能助手时，大模型可能需要调用天气API来获取实时天气信息，或者调用数据库查询API来获取用户数据。在这些情况下，Tool可以帮助大模型准确地描述和调用这些外部工具。
package org.example; import dev.langchain4j.agent.tool.Tool; import dev.langchain4j.memory.chat.MessageWindowChatMemory; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.model.openai.OpenAiChatModel; import dev.langchain4j.service.*; import java.time.LocalDateTime; public class Test4 { interface Assistant { String chat(String userMessage); } static class MyTools { @Tool("获取当前日期") public static String dateUtil(String onUse) { return LocalDateTime.now().toString(); } } public static void main(String[] args) { // 上面测试的key在此处不支持 ChatLanguageModel model = OpenAiChatModel.builder() .apiKey("your key").baseUrl("your base url").build(); Assistant assistant = AiServices.builder(Assistant.class).chatLanguageModel(model).tools(new MyTools()) .chatMemory(MessageWindowChatMemory.withMaxMessages(10)).build(); String date = assistant.chat("获取今天的日期"); System.out.println(date); String date2 = assistant.chat("获取后天的日期"); System.out.println(date2); } } gpt-3.5-turbo本身是无法获取今天的日期的
控制台输出：
今天：今天的日期是2024年7月11日。
2024-07-11 18:20:24 [main] dev.langchain4j.agent.tool.DefaultToolExecutor.execute()
DEBUG: About to execute ToolExecutionRequest { id = “call_BjJCXo78e6NeRrMrScp0A3Ip”, name = “dateUtil”, arguments = “{“arg0”:“after tomorrow”}” } for memoryId default
2024-07-11 18:20:24 [main] dev.langchain4j.agent.tool.DefaultToolExecutor.execute()
DEBUG: Tool execution result: 2024-07-11T18:20:24.931279900
后天：后天的日期是2024年7月13日。
注意 工具 相关的 demo key不支持，包括Streaming和生成图片同样也不支持，需要申请自己的key。
其他工具相关demo或者其他api请移步官方demo：langchain4j demo
6、生成图片
使用ImageModel调用调用大模型可以生成图片。
package org.example; import dev.langchain4j.data.image.Image; import dev.langchain4j.model.image.ImageModel; import dev.langchain4j.model.openai.OpenAiImageModel; import dev.langchain4j.model.output.Response; public class Test5 { public static void main(String[] args) { ImageModel model = OpenAiImageModel.builder().baseUrl("your base url").apiKey("your key").build(); Response<Image> response = model.generate("小狗在森林里觅食"); System.out.println(response.content().url()); } } 会返回一个临时链接，也可返回base64（response.content().base64Data()）
7、其他国内大模型
国内的智谱 https://www.zhipuai.cn/
<dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-zhipu-ai</artifactId> <version>0.32.0</version> </dependency> 国内的百度
<dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-qianfan</artifactId> <version>0.32.0</version> </dependency> 查看官方其他支持大模型： Language Models | LangChain4j
8、写个应用
接下来，使用以上知识来做一个聊天助手：
8.1 配置spring boot相关包和配置文件
<dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-open-ai-spring-boot-starter</artifactId> <version>0.32.0</version> </dependency> <dependency> <groupId>dev.langchain4j</groupId> <artifactId>langchain4j-spring-boot-starter</artifactId> <version>0.32.0</version> </dependency> application.properties
langchain4j.open-ai.chat-model.api-key=填写你的key langchain4j.open-ai.chat-model.base-url=填写你的URL # langchain4j.open-ai.streaming-chat-model.api-key= server.port=9000 server.servlet.context-path=/ai 8.2 控制器ChatController
import org.springframework.beans.factory.annotation.Autowired; import org.springframework.web.bind.annotation.*; import java.util.Map; @RestController public class ChatController { ChatService chatService; @Autowired ChatController(ChatService chatService) { this.chatService = chatService; } @PostMapping("/reply") public String replyAssistant(@RequestBody Map<String, String> map) { String uid = map.get("uid"); String msg = map.get("msg"); System.out.println("userId:" + uid + " msg:" + msg); String result = chatService.speak(uid, msg); System.out.println(result); return result; } } 8.3 接口ChatMaster
小应用体验好不好，除了大模型本身的能力外，关键在于提示词，通过优化提示词可以让大模型程序更智能。提示词我常用如下4种优化方式：
1、给大模型一个角色。比如你想让大模型生成孩子能理解的答案，可以告诉大模型它是一位幼儿园老师；
2、给大模型一个参考示例。如果你需要的格式是有要求的，比如每行需要有emoji表情包，那你可以把一个完成的示例发给大模型，让它参考输出；
3、让大模型一步一步解答。由于大模型是根据前面的提示词生成后面的提示词，对于逻辑比较复杂的问题时，往往出错，这个时候让它一步一步解答会有更好的结果；
4、告诉大模型它是提示词优化专家，让它帮你优化。
最后你要描述清楚你的问题，根据输出的结果不断调整提示词
import dev.langchain4j.service.MemoryId; import dev.langchain4j.service.SystemMessage; import dev.langchain4j.service.UserMessage; public interface ChatMaster { // 以下提示词仅供参考 @SystemMessage("你是一位恋爱大师，名叫贝贝。和你对话的是一位女孩，请根据上下文进行分析，然后以男生的角度进行回话。风格要幽默、有趣、体贴、温柔，适当扩展话题，让对话轻松愉快") String speak(@MemoryId String userId, @UserMessage String desc); } 8.4 服务类ChatService
import dev.langchain4j.memory.chat.MessageWindowChatMemory; import dev.langchain4j.model.chat.ChatLanguageModel; import dev.langchain4j.service.AiServices; import jakarta.annotation.PostConstruct; import org.springframework.beans.factory.annotation.Autowired; import org.springframework.stereotype.Service; @Service public class ChatService { private final ChatLanguageModel chatLanguageModel; @Autowired ChatService(ChatLanguageModel chatLanguageModel) { this.chatLanguageModel = chatLanguageModel; } private ChatMaster chatMaster; @PostConstruct public void init() { chatMaster = AiServices.builder(ChatMaster.class).chatLanguageModel(chatLanguageModel) // .chatMemoryProvider(uerId -> MessageWindowChatMemory.builder().id(uerId).maxMessages(20).build()) .chatMemoryProvider(memoryId -> MessageWindowChatMemory.withMaxMessages(10)) .build(); } public String speak(String userId, String desc) { return chatMaster.speak(userId, desc); } } 8.5 界面部分
前端vue3，使用uniapp开发，使用组件来显示头像，依赖了uni-ui，可以使用图片代替
<template> <view class="ai-container"> <view class="main"> <view v-for="(message, index) in messages" :class="['record-item',index%2===1?'reverse':'']"> <view class="portrait"> <!-- <image v-if="index%2===0" src="https://blog.csdn.net/dan_seek/static/img/icon-chatgpt.png"></image> --> <uni-icons v-if="index%2===0" type="chat-filled" size="30" color="#fff"></uni-icons> <uni-icons v-else type="person-filled" size="30" color="#fff"></uni-icons> </view> <view @longpress="handleLongPress(message)">{{message}}</view> </view> </view> <view class="foot-box"> <view class="text-box"> <textarea v-model="userMessage" placeholder="请输入女生给你的回复" /> </view> <view class="send-btn-box"> <button @click="sendMsg" type="primary" size="mini" :loading="loading">发送</button> </view> </view> </view> </template> <script setup> import { ref } from 'vue' const messages = ref(['我是一个帮你回复消息的AI，请把她回复给你的消息发给我，我帮你回复！长按可复制消息']) let uid = generateRandomString(8) let userMessage = ref('') let loading = ref(false) // 调用后台接口的函数 function sendMsg() { if(loading.value){ return } let userMessageVal = userMessage.value userMessage.value = '' if (!userMessageVal) { uni.showToast({ title: '请输入你的回复', icon: 'none' }) return } loading.value = true messages.value = [...messages.value, userMessageVal] uni.request({ url: 'https://xxx.xxx.cn/ai/reply', method: 'POST', data: { uid: uid, msg: userMessageVal }, success: (res) => { loading.value = false console.log('res:', res) if (res.statusCode === 200) { const aiMessage = res.data // 将新数据添加到数组中 messages.value = [...messages.value, aiMessage] } else { console.error('数据加载失败', res); } }, fail: (err) => { console.error('请求失败:', err); } }); } function handleLongPress(textToCopy) { uni.setClipboardData({ data: textToCopy, success: () => { uni.showToast({ title: '复制成功', icon: 'success' }); }, fail: () => { uni.showToast({ title: '复制失败', icon: 'none' }); } }); } function generateRandomString(length) { let characters = 'ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789'; let result = ''; const charactersLength = characters.length; for (let i = 0; i < length; i++) { result += characters.charAt(Math.floor(Math.random() * charactersLength)); } return result; } </script> <script> export default { data() { return { } }, methods: { } } </script> <style lang="scss"> .ai-container { display: flex; flex-direction: column; background-color: #fafafa; height: 100vh; /* #ifdef H5 */ height: calc(100vh - 44px); /* #endif */ .main { flex: 1; overflow-y: auto; padding: 10px; margin-top: 5px; .record-item { display: flex; margin-bottom: 15px; &.reverse { flex-direction: row-reverse; .content, .portrait { background-color: $theme-color-rgba; } } .portrait { display: flex; justify-content: center; align-items: center; width: 40px; min-width: 40px; height: 40px; background-color: #e8e8e8; image { width: 30px; height: 30px; } } .content { display: flex; align-items: center; margin: 0 10px; padding: 5px 10px; font-size: 14px; background-color: white; border-radius: 5px; } } } .foot-box { display: flex; background-color: white; height: 120px; .text-box { display: flex; flex: 1; textarea { margin: 10px 0px 10px 15px; padding: 10px; height: 80px; width: 100%; font-size: 14px; background-color: #fafafa; border-radius: 5px; } } .send-btn-box { display: flex; align-items: center; justify-content: center; .uni-btn { margin: 0 15px; padding: 0; width: 60px; } } } } </style> 购买的key没用完，可以扫码微微体验一下，无需注册，返回不了消息就是key用完了。请无视小程序本身的功能。
总结
chatlangchainopenai大模型stemtokenurlapiatsicon提示词assistant上下文gptllm2024writerjavagpt-3script
