endpoint
和 api-key
。
Spring AI 定义了两个配置属性:
spring.ai.azure.openai.api-key
:将其设置为从 Azure 获取的 API 密钥
的值。spring.ai.azure.openai.endpoint
:将其设置为在 Azure 中配置模型时获取的终结点 URL。application.properties
或 application.yml
文件中设置这些配置属性:
spring.ai.azure.openai.chat.options.deployment-name
属性设置为要使用的 OpenAI 模型的名称。
在你的应用程序配置中:
spring.ai.azure.openai.endpoint
配置属性,而_不_设置上面提到的 api-key 属性。
仅找到终结点属性后,你的应用程序将评估几个不同的凭据检索选项,并使用令牌凭据创建 OpenAIClient
实例。
TokenCredential
bean;它会自动为你配置。Deployment Name
才能连接到 Azure OpenAI 服务。
需要注意的是,Deployment Name
与你选择部署的模型不同。
例如,名为”MyAiDeployment”的部署可以配置为使用 GPT 3.5 Turbo 模型或 GPT 4.0 模型。
要开始使用,请按照以下步骤使用默认设置创建部署:
部署名称:gpt-4o
模型名称:gpt-4o
此 Azure 配置与 Spring Boot Azure AI Starter 及其自动配置功能的默认配置一致。
如果你使用不同的部署名称,请确保相应地更新配置属性:
deploymentOrModelName
的属性。
这是因为在 OpenAI 中没有 Deployment Name
,只有 Model Name
。
spring.ai.azure.openai.chat.options.model
已重命名为 spring.ai.azure.openai.chat.options.deployment-name
。spring.ai.azure.openai.openai-api-key=<你的 OpenAI 密钥>
属性来连接到 OpenAI
而不是 Azure OpenAI
,
那么 spring.ai.azure.openai.chat.options.deployment-name
将被视为 OpenAI 模型名称。OpenAI
,而不是 Azure OpenAI
部署的模型。
为此,你需要设置 spring.ai.azure.openai.openai-api-key=<你的 OpenAI 密钥>
而不是 spring.ai.azure.openai.api-key=<你的 Azure OpenAi 密钥>
。
pom.xml
或 Gradle build.gradle
构建文件中:
spring.ai.azure.openai
是用于配置与 Azure OpenAI 连接的属性前缀。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.azure.openai.api-key | Azure AI OpenAI 密钥和终结点 部分(在 资源管理 下)中的密钥 | - |
spring.ai.azure.openai.endpoint | Azure AI OpenAI 密钥和终结点 部分(在 资源管理 下)中的终结点 | - |
spring.ai.azure.openai.openai-api-key | (非 Azure)OpenAI API 密钥。用于向 OpenAI 服务(而非 Azure OpenAI)进行身份验证。这会自动将终结点设置为 https://api.openai.com/v1。使用 api-key 或 openai-api-key 属性。使用此配置时,spring.ai.azure.openai.chat.options.deployment-name 将被视为 OpenAi 模型名称。 | - |
spring.ai.azure.openai.custom-headers | 要包含在 API 请求中的自定义标头映射。映射中的每个条目代表一个标头,其中键是标头名称,值是标头值。 | 空映射 |
spring.ai.model.chat
的顶级属性进行配置。要启用,spring.ai.model.chat=azure-openai
(默认启用)要禁用,spring.ai.model.chat=none
(或任何与 azure-openai 不匹配的值)此更改是为了允许配置多个模型。spring.ai.azure.openai.chat
是配置 Azure OpenAI 的 ChatModel
实现的属性前缀。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.azure.openai.chat.enabled (已移除且不再有效) | 启用 Azure OpenAI 聊天模型。 | true |
spring.ai.model.chat | 启用 Azure OpenAI 聊天模型。 | azure-openai |
spring.ai.azure.openai.chat.options.deployment-name | 在 Azure 中使用时,这指的是模型的”部署名称”,你可以在 https://oai.azure.com/portal 中找到它。需要注意的是,在 Azure OpenAI 部署中,“部署名称”与模型本身不同。围绕这些术语的混淆源于使 Azure OpenAI 客户端库与原始 OpenAI 终结点兼容的意图。Azure OpenAI 和 Sam Altman 的 OpenAI 提供的部署结构有显著差异。部署模型名称作为此补全请求的一部分提供。 | gpt-4o |
spring.ai.azure.openai.chat.options.maxTokens | 要生成的最大标记数。 | - |
spring.ai.azure.openai.chat.options.temperature | 用于控制生成补全的明显创造性的采样温度。较高的值会使输出更随机,而较低的值会使结果更集中和确定。不建议为同一补全请求修改温度和 top_p,因为这两个设置的相互作用很难预测。 | 0.7 |
spring.ai.azure.openai.chat.options.topP | 温度采样的替代方法,称为核采样。此值使模型考虑具有所提供概率质量的标记的结果。 | - |
spring.ai.azure.openai.chat.options.logitBias | GPT 令牌 ID 和偏差分数之间的映射,影响特定令牌出现在补全响应中的概率。令牌 ID 通过外部令牌化工具计算,而偏差分数在 -100 到 100 的范围内,最小值和最大值分别对应于完全禁止或独占选择令牌。给定偏差分数的具体行为因模型而异。 | - |
spring.ai.azure.openai.chat.options.user | 操作的调用方或最终用户的标识符。这可用于跟踪或速率限制目的。 | - |
spring.ai.azure.openai.chat.options.stream-usage | (仅限流式传输)设置为添加一个包含整个请求的标记使用情况统计信息的附加块。此块的 choices 字段是一个空数组,所有其他块也将包含一个 usage 字段,但其值为 null。 | false |
spring.ai.azure.openai.chat.options.n | 应为聊天补全响应生成的聊天补全选项的数量。 | - |
spring.ai.azure.openai.chat.options.stop | 将结束补全生成的文本序列集合。 | - |
spring.ai.azure.openai.chat.options.presencePenalty | 一个影响生成令牌出现概率的值,基于它们在生成文本中已有的存在。正值会使令牌在已存在时不太可能出现,并增加模型输出新主题的可能性。 | - |
spring.ai.azure.openai.chat.options.responseFormat | 指定模型必须输出的格式的对象。使用 AzureOpenAiResponseFormat.JSON 启用 JSON 模式,可确保模型生成的消息是有效的 JSON。使用 AzureOpenAiResponseFormat.TEXT 启用 TEXT 模式。 | - |
spring.ai.azure.openai.chat.options.frequencyPenalty | 一个影响生成令牌出现概率的值,基于它们在生成文本中的累积频率。正值会使令牌随着频率的增加而不太可能出现,并降低模型逐字重复相同语句的可能性。 | - |
spring.ai.azure.openai.chat.options.proxy-tool-calls | 如果为 true,Spring AI 将不会在内部处理函数调用,而是将它们代理到客户端。然后由客户端负责处理函数调用,将它们分派到适当的函数,并返回结果。如果为 false(默认值),Spring AI 将在内部处理函数调用。仅适用于具有函数调用支持的聊天模型 | false |
spring.ai.azure.openai.chat.options
为前缀的属性都可以在运行时通过向 Prompt
调用添加特定于请求的运行时选项来覆盖。AzureOpenAiChatModel(api, options)
构造函数或 spring.ai.azure.openai.chat.options.*
属性配置默认选项。
在运行时,你可以通过向 Prompt
调用添加新的、特定于请求的选项来覆盖默认选项。
例如,要为特定请求覆盖默认模型和温度:
gpt-4o
模型提供多模态支持。
Azure OpenAI 可以将 base64 编码的图像或图像 URL 列表与消息合并。
Spring AI 的 Message 接口通过引入 Media 类型来促进多模态 AI 模型。
此类型包含有关消息中媒体附件的数据和详细信息,利用 Spring 的 org.springframework.util.MimeType
和 java.lang.Object
来获取原始媒体数据。
以下是从 OpenAiChatModelIT.java 中摘录的代码示例,说明了使用 GPT_4_O
模型将用户文本与图像融合。
multimodal.test.png
图像作为输入:
多模态测试图像
spring-ai-starter-model-azure-openai
添加到你的 pom (或 gradle) 依赖项中。
在 src/main/resources
目录下添加一个 application.properties
文件,以启用和配置 OpenAi 聊天模型:
api-key
和 endpoint
替换为你的 Azure OpenAI 凭据。AzureOpenAiChatModel
实现,你可以将其注入到你的类中。
以下是一个简单的 @Controller
类的示例,该类使用聊天模型进行文本生成:
ChatModel
和 StreamingChatModel
,并使用 Azure OpenAI Java 客户端。
要启用它,请将 spring-ai-azure-openai
依赖项添加到项目的 Maven pom.xml
文件中:
build.gradle
构建文件中:
spring-ai-azure-openai
依赖项还提供对 AzureOpenAiChatModel
的访问。有关 AzureOpenAiChatModel
的更多信息,请参阅 Azure OpenAI 聊天部分。AzureOpenAiChatModel
实例并将其用于生成文本响应:
gpt-4o
实际上是 Azure AI 门户中显示的部署名称
。