Spring AI Perplexity 集成
toolCalls
- function call
机制。
此外,目前 Perplexity 不支持多模态消息。spring.ai.openai.api-key
属性进行配置。
spring.ai.openai.base-url
属性设置为 https://api.perplexity.ai
。
spring.ai.openai.chat.model=<模型名称>
属性指定模型。
有关可用选项,请参阅支持的模型。
spring.ai.openai.chat.completions-path
设置为 /chat/completions
。
有关更多详细信息,请参阅聊天补全 API。
application.properties
文件中设置这些配置属性:
pom.xml
或 Gradle build.gradle
构建文件中:
spring.ai.retry
用作属性前缀,允许你配置 OpenAI 聊天模型的重试机制。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.retry.max-attempts | 最大重试次数。 | 10 |
spring.ai.retry.backoff.initial-interval | 指数退避策略的初始休眠持续时间。 | 2 秒 |
spring.ai.retry.backoff.multiplier | 退避间隔乘数。 | 5 |
spring.ai.retry.backoff.max-interval | 最大退避持续时间。 | 3 分钟 |
spring.ai.retry.on-client-errors | 如果为 false,则抛出 NonTransientAiException,并且不尝试对 4xx 客户端错误代码进行重试 | false |
spring.ai.retry.exclude-on-http-codes | 不应触发重试的 HTTP 状态代码列表(例如,抛出 NonTransientAiException)。 | 空 |
spring.ai.retry.on-http-codes | 应触发重试的 HTTP 状态代码列表(例如,抛出 TransientAiException)。 | 空 |
spring.ai.openai
用作属性前缀,允许你连接到 OpenAI。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.openai.base-url | 要连接的 URL。必须设置为 https://api.perplexity.ai | - |
spring.ai.openai.chat.api-key | 你的 Perplexity API 密钥 | - |
spring.ai.model.chat
的顶级属性进行配置。要启用,spring.ai.model.chat=openai
(默认启用)要禁用,spring.ai.model.chat=none
(或任何与 openai 不匹配的值)此更改是为了允许配置多个模型。spring.ai.openai.chat
是属性前缀,允许你配置 OpenAI 的聊天模型实现。
属性 | 描述 | 默认值 |
---|---|---|
spring.ai.model.chat | 启用 OpenAI 聊天模型。 | openai |
spring.ai.openai.chat.model | 支持的 Perplexity 模型之一。例如:llama-3.1-sonar-small-128k-online 。 | - |
spring.ai.openai.chat.base-url | 可选地覆盖 spring.ai.openai.base-url 以提供特定于聊天的 url。必须设置为 https://api.perplexity.ai | - |
spring.ai.openai.chat.completions-path | 必须设置为 /chat/completions | /v1/chat/completions |
spring.ai.openai.chat.options.temperature | 响应中的随机性量,值介于 0(含)和 2(不含)之间。较高的值更随机,较低的值更具确定性。必需范围:0 < x < 2 。 | 0.2 |
spring.ai.openai.chat.options.frequencyPenalty | 大于 0 的乘法惩罚。大于 1.0 的值会根据新标记在文本中已有的频率对其进行惩罚,从而降低模型逐字重复同一行的可能性。值为 1.0 表示没有惩罚。与 presence_penalty 不兼容。必需范围:x > 0 。 | 1 |
spring.ai.openai.chat.options.maxTokens | API 返回的最大补全标记数。max_tokens 中请求的标记总数加上消息中发送的提示标记数不得超过所请求模型的上下文窗口标记限制。如果未指定,则模型将生成标记,直到达到其停止标记或其上下文窗口的末尾。 | - |
spring.ai.openai.chat.options.presencePenalty | -2.0 到 2.0 之间的值。正值会根据新标记是否已出现在文本中对其进行惩罚,从而增加模型谈论新主题的可能性。与 frequency_penalty 不兼容。必需范围:-2 < x < 2 | 0 |
spring.ai.openai.chat.options.topP | 核采样阈值,值介于 0 和 1(含)之间。对于每个后续标记,模型都会考虑具有 top_p 概率质量的标记的结果。我们建议更改 top_k 或 top_p,但不能同时更改两者。必需范围:0 < x < 1 | 0.9 |
spring.ai.openai.chat.options.stream-usage | (仅限流式传输)设置为添加一个包含整个请求的标记使用情况统计信息的附加块。此块的 choices 字段是一个空数组,所有其他块也将包含一个 usage 字段,但其值为 null。 | false |
spring.ai.openai.chat.options
为前缀的属性都可以在运行时通过向 Prompt
调用添加特定于请求的运行时选项来覆盖。OpenAiChatModel(api, options)
构造函数或 spring.ai.openai.chat.options.*
属性配置默认选项。
在运行时,你可以通过向 Prompt
调用添加新的、特定于请求的选项来覆盖默认选项。
例如,要为特定请求覆盖默认模型和温度:
spring-ai-starter-model-openai
添加到你的 pom (或 gradle) 依赖项中。
在 src/main/resources
目录下添加一个 application.properties
文件,以启用和配置 OpenAi 聊天模型:
api-key
替换为你的 Perplexity Api 密钥。OpenAiChatModel
实现,你可以将其注入到你的类中。
以下是一个简单的 @Controller
类的示例,该类使用聊天模型进行文本生成: