99AI 文档

主题

向量配置 ​

配置概述 ​

向量配置用于设置文件向量化和搜索的相关参数，包括向量模型、切片策略、缓存有效期等。通过向量化技术，系统可以实现语义搜索和智能检索功能，提升用户使用体验。

主要功能：

  • 向量化处理：将文件内容转换为向量表示，支持语义理解
  • 智能检索：基于向量相似度进行内容搜索，而非简单的关键词匹配
  • 切片策略：控制文件切分方式，优化检索准确度
  • 缓存管理：避免重复向量化，节省 API 成本

配置项说明 ​

向量模型配置 ​

向量模型地址 ​

  • 说明：向量模型的 API 地址
  • 格式：URL
  • 必填：否
  • 示例：https://api.openai.com/v1
  • 提示：留空则使用系统默认配置

向量模型 Key ​

  • 说明：访问向量模型的 API 密钥
  • 格式：文本
  • 必填：否
  • 提示：请妥善保管密钥，避免泄露

向量模型名称 ​

  • 说明：使用的向量模型类型
  • 选项：
    • text-embedding-3-small：轻量级模型，速度快，成本低
    • text-embedding-3-large：高精度模型，语义理解更准确
    • text-embedding-ada-002：经典模型，兼容性好
  • 必填：否
  • 默认值：text-embedding-3-small
  • 建议：一般场景使用 small 模型即可，对精度要求高的场景使用 large 模型

切片策略配置 ​

向量分析阈值 ​

  • 说明：文件启用向量分析的字符数阈值
  • 单位：字符
  • 必填：否
  • 默认值：1000
  • 提示：文件字符数超过此值时启用向量分析

文件字符限制 ​

  • 说明：单个文件允许进行向量化的最大字符数
  • 单位：字符
  • 必填：否
  • 默认值：100000
  • 提示：超过此限制的文件将被截断或跳过向量化

切片最大 token 数 ​

  • 说明：将文件切分时，每个切片的最大 token 数量
  • 单位：token
  • 必填：否
  • 默认值：512
  • 建议：
    • 较小的切片（256-512）：检索更精准，但切片数量多，查询成本高
    • 较大的切片（1024-2048）：查询成本低，但可能包含过多无关信息

切片重叠 token 数 ​

  • 说明：相邻切片之间的重叠 token 数量
  • 单位：token
  • 必填：否
  • 默认值：50
  • 作用：避免重要信息在切片边界被截断
  • 建议：通常设置为最大 token 数的 10%-20%

缓存配置 ​

向量缓存有效期 ​

  • 说明：向量数据在数据库中的缓存天数
  • 单位：天
  • 必填：否
  • 默认值：3
  • 提示：超过有效期的缓存会被自动清理，节省存储空间

配置建议 ​

模型选择建议 ​

根据场景选择合适的向量模型：

text-embedding-3-small（推荐）：

  • 适用场景：一般文档检索、问答系统
  • 优势：速度快、成本低、效果好
  • 适用范围：90% 的场景

text-embedding-3-large：

  • 适用场景：高精度语义搜索、专业领域检索
  • 优势：语义理解更准确
  • 注意：成本较高

text-embedding-ada-002：

  • 适用场景：兼容性要求高的场景
  • 注意：旧版本模型，性能不如 3 系列

切片策略优化 ​

短文档（< 2000 字）：

  • 切片最大 token 数：512
  • 切片重叠 token 数：50
  • 特点：精准检索，适合问答场景

长文档（> 5000 字）：

  • 切片最大 token 数：1024-2048
  • 切片重叠 token 数：100-200
  • 特点：减少切片数量，降低查询成本

专业文档（法律、医疗等）：

  • 切片最大 token 数：256-512
  • 切片重叠 token 数：50-100
  • 特点：高精度要求，避免信息遗漏

缓存策略 ​

高频更新内容（新闻、动态等）：

  • 缓存有效期：1-3 天
  • 特点：保证内容新鲜度

稳定内容（知识库、文档等）：

  • 缓存有效期：7-30 天
  • 特点：节省成本，提高检索速度

存储空间有限：

  • 缓存有效期：1-3 天
  • 定期清理：避免数据库膨胀

常见问题 ​

Q：向量模型有什么作用？ ​

A：向量模型将文本转换为数字向量，使计算机能够理解语义关系。例如：

  • 关键词搜索只能匹配"苹果"这个词
  • 向量搜索可以理解"苹果"、"iPhone"、"水果"之间的关联

Q：切片大小和重叠如何影响检索效果？ ​

A：

  • 切片太小：可能丢失上下文信息，导致检索不完整
  • 切片太大：可能包含过多无关信息，降低检索精准度
  • 重叠太小：关键信息可能在切片边界被截断
  • 重叠太大：增加存储和查询成本

Q：如何优化检索准确度？ ​

A：

  1. 调整切片大小，找到上下文完整度和精准度的平衡点
  2. 适当增加重叠 token 数，避免信息截断
  3. 使用 large 模型提升语义理解能力
  4. 设置合理的向量分析阈值，过滤无关内容

Q：向量缓存如何节省成本？ ​

A：

  • 相同文件只向量化一次，后续直接使用缓存
  • 避免重复调用向量 API，节省费用
  • 根据内容更新频率设置合理的缓存有效期

Q：支持哪些文件格式？ ​

A：系统支持常见的文本格式，包括：

  • 纯文本（.txt）
  • Markdown（.md）
  • PDF（.pdf）
  • Word 文档（.docx）
  • 网页内容（HTML 抓取）

Q：向量分析失败怎么办？ ​

A：请检查：

  1. 向量模型地址和密钥是否正确
  2. 文件格式是否支持
  3. 文件大小是否超过限制
  4. 查看服务器日志获取详细错误信息

Q：如何测试向量配置是否正常？ ​

A：

  1. 保存配置后，上传一个测试文档
  2. 在知识库管理中查看文档是否成功向量化
  3. 使用语义搜索功能测试检索效果
  4. 检查向量缓存记录是否正常生成

相关文档 ​