Ollama 聊天
通过 Ollama,您可以在本地运行各种大型语言模型 (LLM),并从中生成文本。Spring AI 支持使用 OllamaChatClient 进行 Ollama 文本生成。
先决条件
首先,您需要在本地机器上运行 Ollama。请参阅官方 Ollama 项目自述文件,了解在本地机器上运行模型的入门指南。
安装 ollama 运行 llama2 将下载一个 4GB 的 docker 镜像。添加存储库和 BOM
Spring AI 工件发布在 Spring Milestone 和 Snapshot 存储库中。请参阅"存储库"部分,将这些存储库添加到您的构建系统中。
为了帮助依赖项管理,Spring AI 提供了一个 BOM (材料清单),以确保在整个项目中使用了一致的 Spring AI 版本。请参阅"依赖项管理"部分,将 Spring AI BOM 添加到您的构建系统中。
自动配置
Spring AI 为 Ollama 聊天客户端提供了 Spring Boot 自动配置。要启用它,请将以下依赖项添加到您项目的 Maven pom.xml 文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
</dependency>或者添加到您的 Gradle build.gradle 构建文件中:
dependencies {
implementation 'org.springframework.ai:spring-ai-ollama-spring-boot-starter'
}请参阅"依赖项管理"部分,将 Spring AI BOM 添加到您的构建文件中。
聊天属性
前缀 spring.ai.ollama 是配置与 Ollama 的连接的属性前缀。
前缀 spring.ai.ollama.chat.options 是配置 Ollama 聊天客户端实现的属性前缀。
这些选项属性基于 Ollama 有效参数和值 和 Ollama 类型。默认值基于: Ollama 类型默认值。
好的,我会继续剩余部分:
| spring.ai.ollama.chat.options.typical-p | ？？？ | 1.0 |
| spring.ai.ollama.chat.options.repeat-last-n | 设置模型向后查看以防止重复的距离。(默认值: 64, 0 = 禁用, -1 = num_ctx) | 64 |
| spring.ai.ollama.chat.options.temperature | 模型的温度。增加温度将使模型更具创造性地回答。 | 0.8 |
| spring.ai.ollama.chat.options.repeat-penalty | 设置如何强烈惩罚重复。较高的值(例如 1.5)将更强烈地惩罚重复,而较低的值(例如 0.9)将更加宽松。 | 1.1 |
| spring.ai.ollama.chat.options.presence-penalty | ？？？ | 0.0 |
| spring.ai.ollama.chat.options.frequency-penalty | ？？？ | 0.0 |
| spring.ai.ollama.chat.options.mirostat | 启用 Mirostat 采样以控制困惑度。(默认值: 0, 0 = 禁用, 1 = Mirostat, 2 = Mirostat 2.0) | 0 |
| spring.ai.ollama.chat.options.mirostat-tau | 影响算法对生成文本的反馈做出响应的速度。较低的学习率将导致较慢的调整,而较高的学习率将使算法更加敏捷。 | 5.0 |
| spring.ai.ollama.chat.options.mirostat-eta | 控制输出的连贯性和多样性之间的平衡。较低的值将产生更加集中和连贯的文本。 | 0.1 |
| spring.ai.ollama.chat.options.penalize-newline | ？？？ | true |
| spring.ai.ollama.chat.options.stop | 设置要使用的停止序列。当遇到此模式时,LLM 将停止生成文本并返回。可以通过在 modelfile 中指定多个单独的 stop 参数来设置多个停止模式。 | - |
该选项列表将被审查。此问题将跟踪进度。
所有以 spring.ai.ollama.chat.options 为前缀的属性都可以在运行时通过向 Prompt 调用添加特定于请求的聊天选项来覆盖。
聊天选项
OllamaOptions.java 提供模型配置,例如要使用的模型、温度等。
在启动时,可以使用 OllamaChatClient(api, options) 构造函数或 spring.ai.ollama.chat.options.* 属性配置默认选项。
在运行时,您可以通过向 Prompt 调用添加新的、特定于请求的选项来覆盖默认选项。例如,要为特定请求覆盖默认模型和温度:
ChatResponse response = chatClient.call(
new Prompt(
"生成5位著名海盗的名字。",
OllamaOptions.create()
.withModel("llama2")
.withTemperature(0.4)
));除了特定于模型的 OllamaOptions 之外,您还可以使用可移植的 ChatOptions 实例,由 ChatOptionsBuilder#builder() 创建。
示例控制器 (自动配置)
创建一个新的 Spring Boot 项目,并将 spring-ai-openai-spring-boot-starter 添加到您的 pom (或 gradle) 依赖项中。
添加一个 application.properties 文件,位于 src/main/resources 目录下,以启用和配置 OpenAi 聊天客户端:
spring.ai.ollama.base-url=http://localhost:11434
spring.ai.ollama.chat.options.model=mistral
spring.ai.ollama.chat.options.temperature=0.7将 base-url 替换为您的 Ollama 服务器 URL。
这将创建一个 OllamaChatClient 实现,您可以将其注入到您的类中。这是一个简单的 @Controller 类的示例,它使用聊天客户端进行文本生成。
@RestController
public class ChatController {
private final OllamaChatClient chatClient;
@Autowired
public ChatController(OllamaChatClient chatClient) {
this.chatClient = chatClient;
}
@GetMapping("/ai/generate")
public Map generate(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
return Map.of("generation", chatClient.call(message));
}
@GetMapping("/ai/generateStream")
public Flux<ChatResponse> generateStream(@RequestParam(value = "message", defaultValue = "Tell me a joke") String message) {
Prompt prompt = new Prompt(new UserMessage(message));
return chatClient.stream(prompt);
}
}手动配置
如果您不想使用 Spring Boot 自动配置,可以在应用程序中手动配置 OllamaChatClient。OllamaChatClient 实现了 ChatClient 和 StreamingChatClient,并使用低级的 OpenAiApi 客户端连接到 Ollama 服务。
要使用它,请将 spring-ai-ollama 依赖项添加到您项目的 Maven pom.xml 文件中:
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-ollama</artifactId>
</dependency>或者添加到您的 Gradle build.gradle 构建文件中:
dependencies {
implementation 'org.springframework.ai:spring-ai-ollama'
}请参阅"依赖项管理"部分,将 Spring AI BOM 添加到您的构建文件中。
spring-ai-ollama 依赖项还提供对 OllamaEmbeddingClient 的访问。有关 OllamaEmbeddingClient 的更多信息,请参阅"Ollama 嵌入客户端"部分。
接下来,创建一个 OllamaChatClient 实例,并使用它发送文本生成请求:
var ollamaApi = new OllamaApi();
var chatClient = new OllamaChatClient(ollamaApi).withModel(MODEL)
.withDefaultOptions(OllamaOptions.create()
.withModel(OllamaOptions.DEFAULT_MODEL)
.withTemperature(0.9f));
ChatResponse response = chatClient.call(
new Prompt("生成5位著名海盗的名字。"));
// 或者使用流响应
Flux<ChatResponse> response = chatClient.stream(
new Prompt("生成5位著名海盗的名字。"));OllamaOptions 提供了所有聊天请求的配置信息。
低级 OpenAiApi 客户端
OllamaApi 提供了一个轻量级的 Java 客户端,用于 Ollama 聊天 API 和 Ollama 聊天完成 API。
下图说明了 OllamaApi 聊天接口和构建模块:
[图片无法显示,请检查网络连接]
这是一个简单的代码片段,展示如何以编程方式使用该 API:
OllamaApi ollamaApi =
new OllamaApi("YOUR_HOST:YOUR_PORT");
// 同步请求
var request = ChatRequest.builder("orca-mini")
.withStream(false) // 非流式
.withMessages(List.of(
Message.builder(Role.SYSTEM)
.withContent("你是一名地理老师。你正在和一名学生交谈。")
.build(),
Message.builder(Role.USER)
.withContent("保加利亚的首都是什么,面积有多大?国歌是什么?")
.build()))
.withOptions(OllamaOptions.create().withTemperature(0.9f))
.build();
ChatResponse response = ollamaApi.chat(request);
// 流式请求
var request2 = ChatRequest.builder("orca-mini")
.withStream(true) // 流式
.withMessages(List.of(Message.builder(Role.USER)
.withContent("保加利亚的首都是什么,面积有多大?国歌是什么?")
.build()))
.withOptions(OllamaOptions.create().withTemperature(0.9f).toMap())
.build();
Flux<ChatResponse> streamingResponse = ollamaApi.streamingChat(request2);