> ## Documentation Index
> Fetch the complete documentation index at: https://javaai.pig4cloud.com/llms.txt
> Use this file to discover all available pages before exploring further.

# Google 多模态 向量模型

<Note>
  实验性功能。仅用于实验目的。尚不兼容 `VectorStores`。
</Note>

Vertex AI 支持两种类型的嵌入模型：文本和多模态。
本文档介绍如何使用 Vertex AI [多模态嵌入 API](https://cloud.google.com/vertex-ai/generative-ai/docs/embeddings/get-multimodal-embeddings) 创建多模态嵌入。

多模态嵌入模型会根据您提供的输入（可以包括图像、文本和视频数据的组合）生成 1408 维向量。
然后，嵌入向量可用于后续任务，例如图像分类或视频内容审核。

图像嵌入向量和文本嵌入向量位于同一语义空间中，具有相同的维度。
因此，这些向量可以互换使用于诸如通过文本搜索图像或通过图像搜索视频之类的用例。

<Note>
  VertexAI 多模态 API 强制执行[以下限制](https://cloud.google.com/vertex-ai/generative-ai/docs/embeddings/get-multimodal-embeddings#api-limits)。
</Note>

<Tip>
  对于纯文本嵌入用例，我们建议改用 [Vertex AI 文本嵌入模型](/spring4ai/api/embeddings/vertexai-embeddings-text)。
</Tip>

## 先决条件

* 安装适用于您操作系统的 [gcloud](https://cloud.google.com/sdk/docs/install) CLI。
* 通过运行以下命令进行身份验证。
  将 `PROJECT_ID` 替换为您的 Google Cloud 项目 ID，并将 `ACCOUNT` 替换为您的 Google Cloud 用户名。

```bash theme={"system"}
gcloud config set project <PROJECT_ID> && \
gcloud auth application-default login <ACCOUNT>
```

### 添加存储库和 BOM

Spring AI 工件发布在 Maven Central 和 Spring Snapshot 存储库中。
请参阅[工件存储库](/spring4ai/getting-started#artifact-repositories)部分，将这些存储库添加到您的构建系统中。

为了帮助进行依赖管理，Spring AI 提供了一个 BOM (物料清单) 以确保在整个项目中使用一致版本的 Spring AI。请参阅[依赖管理](/spring4ai/getting-started#dependency-management)部分，将 Spring AI BOM 添加到您的构建系统中。

## 自动配置

<Note>
  Spring AI 自动配置和启动器模块的工件名称已发生重大更改。
  有关更多信息，请参阅[升级说明](https://docs.spring.io/spring-ai/reference/upgrade-notes.html)。
</Note>

Spring AI 为 VertexAI Embedding 模型提供 Spring Boot 自动配置。
要启用它，请将以下依赖项添加到项目的 Maven `pom.xml` 文件中：

```xml theme={"system"}
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-vertex-ai-embedding</artifactId>
</dependency>
```

或添加到您的 Gradle `build.gradle` 构建文件中。

```groovy theme={"system"}
dependencies {
    implementation 'org.springframework.ai:spring-ai-starter-model-vertex-ai-embedding'
}
```

<Tip>
  请参阅[依赖管理](/spring4ai/getting-started#dependency-management)部分，将 Spring AI BOM 添加到您的构建文件中。
</Tip>

### Embedding 属性

前缀 `spring.ai.vertex.ai.embedding` 用作属性前缀，可让您连接到 VertexAI Embedding API。

| 属性                                        | 描述                          | 默认值 |
| :---------------------------------------- | :-------------------------- | :-- |
| spring.ai.vertex.ai.embedding.project-id  | Google Cloud Platform 项目 ID | -   |
| spring.ai.vertex.ai.embedding.location    | 区域                          | -   |
| spring.ai.vertex.ai.embedding.apiEndpoint | Vertex AI Embedding API 端点。 | -   |

<Note>
  嵌入自动配置的启用和禁用现在通过前缀为 `spring.ai.model.embedding` 的顶级属性进行配置。

  要启用，请设置 spring.ai.model.embedding.multimodal=vertexai (默认情况下启用)

  要禁用，请设置 spring.ai.model.embedding.multimodal=none (或任何与 vertexai 不匹配的值)

  此更改是为了允许配置多个模型。
</Note>

前缀 `spring.ai.vertex.ai.embedding.multimodal` 是配置 VertexAI 多模态嵌入的嵌入模型实现的属性前缀。

| 属性                                                                      | 描述                                                                                                                                                           | 默认值                      |
| :---------------------------------------------------------------------- | :----------------------------------------------------------------------------------------------------------------------------------------------------------- | :----------------------- |
| spring.ai.vertex.ai.embedding.multimodal.enabled (已删除且不再有效)             | 启用 Vertex AI Embedding API 模型。                                                                                                                               | true                     |
| spring.ai.model.embedding.multimodal=vertexai                           | 启用 Vertex AI Embedding API 模型。                                                                                                                               | vertexai                 |
| spring.ai.vertex.ai.embedding.multimodal.options.model                  | 您可以使用以下模型获取多模态嵌入：                                                                                                                                            | multimodalembedding\@001 |
| spring.ai.vertex.ai.embedding.multimodal.options.dimensions             | 指定较低维度的嵌入。默认情况下，嵌入请求为数据类型返回一个 1408 浮点向量。您还可以为文本和图像数据指定较低维度的嵌入（128、256 或 512 浮点向量）。                                                                           | 1408                     |
| spring.ai.vertex.ai.embedding.multimodal.options.video-start-offset-sec | 视频片段的开始偏移量（以秒为单位）。如果未指定，则计算为 max(0, endOffsetSec - 120)。                                                                                                     | -                        |
| spring.ai.vertex.ai.embedding.multimodal.options.video-end-offset-sec   | 视频片段的结束偏移量（以秒为单位）。如果未指定，则计算为 min(video length, startOffSec + 120)。如果同时指定了 startOffSec 和 endOffSec，则将 endOffsetSec 调整为 min(startOffsetSec+120, endOffsetSec)。 | -                        |
| spring.ai.vertex.ai.embedding.multimodal.options.video-interval-sec     | 将生成嵌入的视频间隔。interval\_sec 的最小值为 4。如果间隔小于 4，则返回 InvalidArgumentError。间隔的最大值没有限制。但是，如果间隔大于 min(video length, 120s)，则会影响生成的嵌入的质量。默认值：16。                         | -                        |

## 手动配置

[VertexAiMultimodalEmbeddingModel](https://github.com/spring-projects/spring-ai/blob/main/models/spring-ai-vertex-ai-embedding/src/main/java/org/springframework/ai/vertexai/embedding/VertexAiMultimodalEmbeddingModel.java) 实现了 `DocumentEmbeddingModel`。

将 `spring-ai-vertex-ai-embedding` 依赖项添加到项目的 Maven `pom.xml` 文件中：

```xml theme={"system"}
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vertex-ai-embedding</artifactId>
</dependency>
```

或添加到您的 Gradle `build.gradle` 构建文件中。

```groovy theme={"system"}
dependencies {
    implementation 'org.springframework.ai:spring-ai-vertex-ai-embedding'
}
```

<Tip>
  请参阅[依赖管理](/spring4ai/getting-started#dependency-management)部分，将 Spring AI BOM 添加到您的构建文件中。
</Tip>

接下来，创建一个 `VertexAiMultimodalEmbeddingModel` 并将其用于嵌入生成：

```java theme={"system"}
VertexAiEmbeddingConnectionDetails connectionDetails = 
    VertexAiEmbeddingConnectionDetails.builder()
        .projectId(System.getenv(<VERTEX_AI_GEMINI_PROJECT_ID>))
        .location(System.getenv(<VERTEX_AI_GEMINI_LOCATION>))
        .build();

VertexAiMultimodalEmbeddingOptions options = VertexAiMultimodalEmbeddingOptions.builder()
    .model(VertexAiMultimodalEmbeddingOptions.DEFAULT_MODEL_NAME)
    .build();

var embeddingModel = new VertexAiMultimodalEmbeddingModel(this.connectionDetails, this.options);

Media imageMedial = new Media(MimeTypeUtils.IMAGE_PNG, new ClassPathResource("/test.image.png"));
Media videoMedial = new Media(new MimeType("video", "mp4"), new ClassPathResource("/test.video.mp4"));

var document = new Document("Explain what do you see on this video?", List.of(this.imageMedial, this.videoMedial), Map.of());

EmbeddingResponse embeddingResponse = this.embeddingModel
    .embedForResponse(List.of("Hello World", "World is big and salvation is near"));

DocumentEmbeddingRequest embeddingRequest = new DocumentEmbeddingRequest(List.of(this.document),
        EmbeddingOptions.EMPTY);

EmbeddingResponse embeddingResponse = multiModelEmbeddingModel.call(this.embeddingRequest);

assertThat(embeddingResponse.getResults()).hasSize(3);
```

<Card title="文档有误？请协助编辑" icon="pencil" href="https://github.com/javaai-pig4cloud-com/javaai-docs/edit/main/spring-ai/api/embeddings/vertexai-embeddings-multimodal.mdx">
  发现文档问题？点击此处直接在 GitHub 上编辑并提交 PR，帮助我们改进文档！
</Card>