前言
日常没空，留着以后写
llama-index简介
官网：https://docs.llamaindex.ai/en/stable/
简介也没空，以后再写
注：先说明，随着官方的变动，代码也可能变动，大家运行不起来，可以进官网查查资料
加载本地embedding模型
如果没有找到 llama_index.embeddings.huggingface
那么：pip install llama_index-embeddings-huggingface
还不行进入官网，输入huggingface进行搜索
from llama_index.embeddings.huggingface import HuggingFaceEmbedding from llama_index.core import Settings Settings.embed_model = HuggingFaceEmbedding( model_name=f"{embed_model_path}",device='cuda' )加载本地LLM模型
还是那句话，如果以下代码不行，进官网搜索Custom LLM Model
from llama_index.core.llms import ( CustomLLM, CompletionResponse, CompletionResponseGen, LLMMetadata, ) from llama_index.core.llms.callbacks import llm_completion_callback from transformers import AutoTokenizer, AutoModelForCausalLM class GLMCustomLLM(CustomLLM): context_window: int = 8192 # 上下文窗口大小 num_output: int = 8000 # 输出的token数量 model_name: str = "glm-4-9b-chat" # 模型名称 tokenizer: object = None # 分词器 model: object = None # 模型 dummy_response: str = "My response" def __init__(self, pretrained_model_name_or_path): super().__init__() # GPU方式加载模型 self.tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, device_map="cuda", trust_remote_code=True) self.model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path, device_map="cuda", trust_remote_code=True).eval() # CPU方式加载模型 # self.tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, device_map="cpu", trust_remote_code=True) # self.model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path, device_map="cpu", trust_remote_code=True) self.model = self.model.float() @property def metadata(self) -> LLMMetadata: """Get LLM metadata.""" # 得到LLM的元数据 return LLMMetadata( context_window=self.context_window, num_output=self.num_output, model_name=self.model_name, ) # @llm_completion_callback() # def complete(self, prompt: str, **kwargs: Any) -> CompletionResponse: # return CompletionResponse(text=self.dummy_response) # # @llm_completion_callback() # def stream_complete( # self, prompt: str, **kwargs: Any # ) -> CompletionResponseGen: # response = "" # for token in self.dummy_response: # response += token # yield CompletionResponse(text=response, delta=token) @llm_completion_callback() # 回调函数 def complete(self, prompt: str, **kwargs: Any) -> CompletionResponse: # 完成函数 print("完成函数") inputs = self.tokenizer.encode(prompt, return_tensors='pt').cuda() # GPU方式 # inputs = self.tokenizer.encode(prompt, return_tensors='pt') # CPU方式 outputs = self.model.generate(inputs, max_length=self.num_output) response = self.tokenizer.decode(outputs[0]) return CompletionResponse(text=response) @llm_completion_callback() def stream_complete( self, prompt: str, **kwargs: Any ) -> CompletionResponseGen: # 流式完成函数 print("流式完成函数") inputs = self.tokenizer.encode(prompt, return_tensors='pt').cuda() # GPU方式 # inputs = self.tokenizer.encode(prompt, return_tensors='pt') # CPU方式 outputs = self.model.generate(inputs, max_length=self.num_output) response = self.tokenizer.decode(outputs[0]) for token in response: yield CompletionResponse(text=token, delta=token)基于本地模型搭建简易RAG
from typing import Any from llama_index.core.llms import ( CustomLLM, CompletionResponse, CompletionResponseGen, LLMMetadata, ) from llama_index.core.llms.callbacks import llm_completion_callback from transformers import AutoTokenizer, AutoModelForCausalLM from llama_index.core import Settings,VectorStoreIndex,SimpleDirectoryReader from llama_index.embeddings.huggingface import HuggingFaceEmbedding class GLMCustomLLM(CustomLLM): context_window: int = 8192 # 上下文窗口大小 num_output: int = 8000 # 输出的token数量 model_name: str = "glm-4-9b-chat" # 模型名称 tokenizer: object = None # 分词器 model: object = None # 模型 dummy_response: str = "My response" def __init__(self, pretrained_model_name_or_path): super().__init__() # GPU方式加载模型 self.tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, device_map="cuda", trust_remote_code=True) self.model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path, device_map="cuda", trust_remote_code=True).eval() # CPU方式加载模型 # self.tokenizer = AutoTokenizer.from_pretrained(pretrained_model_name_or_path, device_map="cpu", trust_remote_code=True) # self.model = AutoModelForCausalLM.from_pretrained(pretrained_model_name_or_path, device_map="cpu", trust_remote_code=True) self.model = self.model.float() @property def metadata(self) -> LLMMetadata: """Get LLM metadata.""" # 得到LLM的元数据 return LLMMetadata( context_window=self.context_window, num_output=self.num_output, model_name=self.model_name, ) # @llm_completion_callback() # def complete(self, prompt: str, **kwargs: Any) -> CompletionResponse: # return CompletionResponse(text=self.dummy_response) # # @llm_completion_callback() # def stream_complete( # self, prompt: str, **kwargs: Any # ) -> CompletionResponseGen: # response = "" # for token in self.dummy_response: # response += token # yield CompletionResponse(text=response, delta=token) @llm_completion_callback() # 回调函数 def complete(self, prompt: str, **kwargs: Any) -> CompletionResponse: # 完成函数 print("完成函数") inputs = self.tokenizer.encode(prompt, return_tensors='pt').cuda() # GPU方式 # inputs = self.tokenizer.encode(prompt, return_tensors='pt') # CPU方式 outputs = self.model.generate(inputs, max_length=self.num_output) response = self.tokenizer.decode(outputs[0]) return CompletionResponse(text=response) @llm_completion_callback() def stream_complete( self, prompt: str, **kwargs: Any ) -> CompletionResponseGen: # 流式完成函数 print("流式完成函数") inputs = self.tokenizer.encode(prompt, return_tensors='pt').cuda() # GPU方式 # inputs = self.tokenizer.encode(prompt, return_tensors='pt') # CPU方式 outputs = self.model.generate(inputs, max_length=self.num_output) response = self.tokenizer.decode(outputs[0]) for token in response: yield CompletionResponse(text=token, delta=token) if __name__ == "__main__": # 定义你的LLM pretrained_model_name_or_path = r'/home/nlp/model/LLM/THUDM/glm-4-9b-chat' embed_model_path = '/home/nlp/model/Embedding/BAAI/bge-m3' Settings.embed_model = HuggingFaceEmbedding( model_name=f"{embed_model_path}",device='cuda' ) Settings.llm = GLMCustomLLM(pretrained_model_name_or_path) documents = SimpleDirectoryReader(input_dir="home/xxxx/input").load_data() index = VectorStoreIndex.from_documents( documents, ) # 查询和打印结果 query_engine = index.as_query_engine() response = query_engine.query("萧炎的表妹是谁?") print(response) ollama
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings from llama_index.embeddings.huggingface import HuggingFaceEmbedding from llama_index.llms.ollama import Ollama documents = SimpleDirectoryReader("data").load_data() # bge-base embedding model Settings.embed_model = HuggingFaceEmbedding(model_name="BAAI/bge-base-en-v1.5") # ollama Settings.llm = Ollama(model="llama3", request_timeout=360.0) index = VectorStoreIndex.from_documents( documents, )欢迎大家点赞或收藏
大家的点赞或收藏可以鼓励作者加快更新哟~
作者也新建了一个学习交流群，欢迎大家加入一起学习成长
通过链接获取二维码
链接：https://pan.baidu.com/s/1ZZZZ-ANJvMFHlanl-tbtew?pwd=9el1
参加链接：
LlamaIndex中的CustomLLM（本地加载模型）
llamaIndex 基于GPU加载本地embedding模型
官网文档
官网_starter_example_loca
官网_usage_custom
总结
## 文章总结这篇文章主要介绍了如何在`llama-index`框架下加载和使用本地的大型语言模型（LLM）与嵌入模型（Embedding Model），并展示了如何基于这些本地模型搭建简易的检索增强型生成器（RAG, Retrieval-Augmented Generation）。以下是详细总结：
### llama-index简介
- **网址**：[https://docs.llamaindex.ai/en/stable/](https://docs.llamaindex.ai/en/stable/)
- 概述：虽然文章未具体描述`llama-index`的功能和特性，但可以推断这是一个用于集成不同LLM和Embedding模型，以支持检索增强型生成功能的框架。
### 加载本地Embedding模型
- 使用`llama_index.embeddings.huggingface.HuggingFaceEmbedding`加载Hugging Face模型作为嵌入模型。
- 提供了GPU和CPU两种加载方式，并建议用户在官方文档中查找更替动的API或其他相关资源。
### 加载本地LLM模型
- 通过继承`llama_index.core.llms.CustomLLM`类，自定义LLM模型加载。
- 以`glm-4-9b-chat`为例，展示了如何在GPU或CPU上加载模型，并提供了`complete`和`stream_complete`方法，分别用于直接生成完整回答和流式生成回答的每个token。
### 搭建简易RAG
- 介绍了如何使用`SimpleDirectoryReader`读取文档，并使用`VectorStoreIndex`将文档转换为向量存储索引。
- 利用`query_engine.query`方法基于查询词生成回答。示例中查询了“萧炎的表妹是谁?”。
### Ollama示例
- 展示了如何在`llama-index`中使用`Ollama`作为LLM，一个特定配置的模型实例，这里使用的是基于LLAMA3的Ollama。
- 同样使用文档读取、嵌入模型加载和向量索引构建过程，为RAG提供基础。
### 其他信息和另类提示
- 提供了鼓励读者点赞、收藏及加入学习交流群的提示，通过链接获取二维码加入群组。
- 列出了一些相关链接和标题，可能作为进一步阅读或使用的资源。
### 注意事项
- 文章提醒用户，由于官方库的变动，代码可能需要调整，建议直接访问官网获取最新信息和文档。
- 特别提到了GPU和CPU两种模式的差异及使用方法，帮助不同需求的用户选择合适的加载方式。
综上所述，这篇文章为在`llama-index`框架下加载和使用本地模型，特别是进行检索增强型生成任务的开发者和研究者提供了一个实用的入门指南。 llmtokenllamacodetpuprompthuggingfacecpuctogpudoclmsllmsstorellamaindexeltragchat嵌入模型检索增强
