全部产品
Search
文档中心

智能开放搜索 OpenSearch:API 数据源

更新时间:Jun 12, 2024

本文将介绍以API为数据源时如何添加表。

添加表

  1. 实例详情>表管理页,点击添加表

image.png

  1. 填写表的基础信息,点击下一步

image.png

配置说明

  • 表名称:可自定义

  • 数据分片数:分片数设置时,请填写不超过256的正整数, 用于提升全量构建速度、单次查询性能。(部分存量实例,仍需各索引表分片数保持一致;或至少一个索引表分片数为1,其余索引表分片数一致)

  • 数据更新资源数:数据更新所用资源数,每个索引默认免费提供2个4核8G的更新资源,超出免费额度的资源将产生费用,详情可参考向量检索版国际站计费文档

  • 场景模板:向量检索版内置了3种模板可供用户选择:通用、向量-图片搜索、向量-文本语义模板

  1. 数据同步,配置数据源,点击下一步

image.png

配置参数说明

  • 数据源类型:选择API推送数据源,表示用户的数据通过API的方式推送至实例中

  1. 字段配置,配置完成后,点击下一步:

image

说明
  • 必选字段有:主键字段和向量字段,主键字段为int或string类型并且需要勾选主键按钮,向量字段为float类型并且需要勾选向量字段按钮;

  • 向量字段默认为多值的float类型,多值分隔符默认使用ha3分割符^] 进行切分(其对应utf编码为\x1D),也可以输入自定义多值分隔符

  • 当数据中缺少字段或字段为空时,系统将自动补充默认值,数字类型默认补0,STRING类型默认补空字符串,支持自定义默认值

  1. 索引结构配置,配置完成后,点击下一步:

image.png

此处主要针对向量索引进行配置:

  • 主键字段、向量字段必须填写,命名空间字段非必填,可以为空。

  • 仅支持选择固定的三个字段,不支持新增。

  • 向量维度:根据模型生成的向量按需选择

  • 向量距离:根据模型生成的向量按需选择,系统支持的距离类型有两种:SquareEuclidean和InnerProduct

  • 向量索引算法:根据模型生成的向量按需选择,系统支持的向量索引算法有量化聚类(Quantized Clustering)linearHNSW(Hierarchical Navigable Small World)

  • 实时索引:表示API的增量数据是否需要实时构建向量索引,默认为true

其他高级配置,可点击展开进行配置,参数说明可参考向量索引通用配置

image.png

  1. 确认创建,点击确认创建后,系统将自动创建配置好的表:

image.png

可在变更历史中查看创建表进度:

image.png

  1. 当表状态在使用中时,即可在查询测试页面进行查询测试:

image.png

注意事项

  • API数据源索引重建时会将以前推送的数据清空,从指定的时间戳开始追实时数据,所以API数据源全量要慎重。