spring.ai.mistralai.api-key
的配置属性,你应该将其设置为从 console.mistral.ai 获取的 API 密钥
的值。
你可以在 application.properties
文件中设置此配置属性:
pom.xml
文件中:
spring.ai.retry
用作属性前缀,允许你配置 Mistral AI 聊天模型的重试机制。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.retry.max-attempts | 最大重试次数。 | 10 |
spring.ai.retry.backoff.initial-interval | 指数退避策略的初始休眠持续时间。 | 2 秒 |
spring.ai.retry.backoff.multiplier | 退避间隔乘数。 | 5 |
spring.ai.retry.backoff.max-interval | 最大退避持续时间。 | 3 分钟 |
spring.ai.retry.on-client-errors | 如果为 false,则抛出 NonTransientAiException,并且不尝试对 4xx 客户端错误代码进行重试 | false |
spring.ai.retry.exclude-on-http-codes | 不应触发重试的 HTTP 状态代码列表(例如,抛出 NonTransientAiException)。 | 空 |
spring.ai.retry.on-http-codes | 应触发重试的 HTTP 状态代码列表(例如,抛出 TransientAiException)。 | 空 |
spring.ai.mistralai
用作属性前缀,允许你连接到 OpenAI。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.mistralai.base-url | 要连接的 URL | https://api.mistral.ai |
spring.ai.mistralai.api-key | API 密钥 | - |
spring.ai.model.chat
的顶级属性进行配置。要启用,spring.ai.model.chat=mistral
(默认启用)要禁用,spring.ai.model.chat=none
(或任何与 mistral 不匹配的值)此更改是为了允许配置多个模型。spring.ai.mistralai.chat
是属性前缀,允许你配置 Mistral AI 的聊天模型实现。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.mistralai.chat.enabled (已移除且不再有效) | 启用 Mistral AI 聊天模型。 | true |
spring.ai.model.chat | 启用 Mistral AI 聊天模型。 | mistral |
spring.ai.mistralai.chat.base-url | 可选地覆盖 spring.ai.mistralai.base-url 属性以提供特定于聊天的 URL。 | - |
spring.ai.mistralai.chat.api-key | 可选地覆盖 spring.ai.mistralai.api-key 以提供特定于聊天的 API 密钥。 | - |
spring.ai.mistralai.chat.options.model | 这是要使用的 Mistral AI 聊天模型 | open-mistral-7b 、open-mixtral-8x7b 、open-mixtral-8x22b 、mistral-small-latest 、mistral-large-latest |
spring.ai.mistralai.chat.options.temperature | 用于控制生成补全的明显创造性的采样温度。较高的值会使输出更随机,而较低的值会使结果更集中和确定。不建议为同一补全请求修改 temperature 和 top_p ,因为这两个设置的相互作用很难预测。 | 0.8 |
spring.ai.mistralai.chat.options.maxTokens | 在聊天补全中生成的最大标记数。输入标记和生成标记的总长度受模型上下文长度的限制。 | - |
spring.ai.mistralai.chat.options.safePrompt | 指示是否在所有对话之前注入安全提示。 | false |
spring.ai.mistralai.chat.options.randomSeed | 此功能处于测试阶段。如果指定,我们的系统将尽最大努力进行确定性采样,以便具有相同种子和参数的重复请求应返回相同的结果。 | - |
spring.ai.mistralai.chat.options.stop | 如果检测到此标记,则停止生成。或者,如果在提供数组时检测到这些标记之一。 | - |
spring.ai.mistralai.chat.options.topP | 温度采样的替代方法,称为核采样,其中模型考虑具有 top_p 概率质量的标记的结果。因此 0.1 表示仅考虑构成前 10% 概率质量的标记。我们通常建议更改此项或 temperature ,但不能同时更改两者。 | - |
spring.ai.mistralai.chat.options.responseFormat | 指定模型必须输出的格式的对象。设置为 { "type": "json_object" } 可启用 JSON 模式,该模式可确保模型生成的消息是有效的 JSON。 | - |
spring.ai.mistralai.chat.options.tools | 模型可能调用的工具列表。目前,仅支持函数作为工具。使用此选项可提供模型可能为其生成 JSON 输入的函数列表。 | - |
spring.ai.mistralai.chat.options.toolChoice | 控制模型调用哪个(如果有)函数。none 表示模型不会调用函数,而是生成一条消息。auto 表示模型可以在生成消息或调用函数之间进行选择。通过 {"type: "function", "function": {"name": "my_function"}} 指定特定函数会强制模型调用该函数。当不存在函数时,none 是默认值。如果存在函数,则 auto 是默认值。 | - |
spring.ai.mistralai.chat.options.functions | 在单个提示请求中启用函数调用的函数列表(按其名称标识)。具有这些名称的函数必须存在于 functionCallbacks 注册表中。 | - |
spring.ai.mistralai.chat.options.functionCallbacks | 要注册到 ChatModel 的 Mistral AI 工具函数回调。 | - |
spring.ai.mistralai.chat.options.proxy-tool-calls | 如果为 true,Spring AI 将不会在内部处理函数调用,而是将它们代理到客户端。然后由客户端负责处理函数调用,将它们分派到适当的函数,并返回结果。如果为 false(默认值),Spring AI 将在内部处理函数调用。仅适用于具有函数调用支持的聊天模型 | false |
ChatModel
和 EmbeddingModel
实现覆盖通用的 spring.ai.mistralai.base-url
和 spring.ai.mistralai.api-key
。
如果设置了 spring.ai.mistralai.chat.base-url
和 spring.ai.mistralai.chat.api-key
属性,则它们优先于通用属性。
如果你想为不同的模型和不同的模型端点使用不同的 Mistral AI 帐户,这将非常有用。spring.ai.mistralai.chat.options
为前缀的属性都可以在运行时通过向 Prompt
调用添加特定于请求的聊天选项来覆盖。MistralAiChatModel(api, options)
构造函数或 spring.ai.mistralai.chat.options.*
属性配置默认选项。
在运行时,你可以通过向 Prompt
调用添加新的、特定于请求的选项来覆盖默认选项。
例如,要为特定请求覆盖默认模型和温度:
MistralAiChatModel
注册自定义 Java 函数,并让 Mistral AI 模型智能地选择输出一个 JSON 对象,其中包含调用一个或多个已注册函数的参数。
这是将 LLM 功能与外部工具和 API 连接起来的强大技术。
阅读有关工具调用的更多信息。
pixtral-large-latest
。
有关更多信息,请参阅视觉指南。
Mistral AI 用户消息 API 可以将 base64 编码的图像或图像 URL 列表与消息合并。
Spring AI 的 Message 接口通过引入 Media 类型来促进多模态 AI 模型。
此类型包含有关消息中媒体附件的数据和详细信息,利用 Spring 的 org.springframework.util.MimeType
和 org.springframework.core.io.Resource
来获取原始媒体数据。
以下是从 MistralAiChatModelIT.java
中摘录的代码示例,说明了用户文本与图像的融合:
multimodal.test.png
图像作为输入:
spring.ai.openai.chat.base-url=https://api.mistral.ai
,选择一个 Mistral 模型:spring.ai.openai.chat.options.model=mistral-small-latest
并设置 Mistral AI API 密钥:spring.ai.openai.chat.api-key=<你的 MISTRAL API 密钥>
。
请查看 MistralWithOpenAiChatModelIT.java 测试,获取通过 Spring AI OpenAI 使用 Mistral 的示例。
spring-ai-starter-model-mistral-ai
添加到你的 pom (或 gradle) 依赖项中。
在 src/main/resources
目录下添加一个 application.properties
文件,以启用和配置 Mistral AI 聊天模型:
api-key
替换为你的 Mistral AI 凭据。MistralAiChatModel
实现,你可以将其注入到你的类中。
以下是一个简单的 @RestController
类的示例,该类使用聊天模型进行文本生成:
ChatModel
和 StreamingChatModel
,并使用低级 API连接到 Mistral AI 服务。
将 spring-ai-mistral-ai
依赖项添加到项目的 Maven pom.xml
文件中:
build.gradle
构建文件中:
MistralAiChatModel
并将其用于文本生成:
MistralAiChatOptions
为聊天请求提供配置信息。
MistralAiChatOptions.Builder
是一个流畅的选项构建器。