跳转到主要内容

VillageSQL is a drop-in replacement for MySQL with extensions.

All examples on this page work on VillageSQL. Install Now →
向量嵌入把文本表示为捕捉语义含义的数字数组。关于同一主题的两段文本即使没有共同的词,也会有相似的向量。MySQL 没有内置的生成嵌入的方法。VillageSQL 的 vsql_ai 扩展增加了 ai_embedding(),它调用一个嵌入模型,并以 JSON 数组的形式返回向量,供您存储和查询。

嵌入的用途

嵌入模型把文本转换为固定长度的浮点数向量。两个向量之间的距离反映语义相似度:
  • "dog" 和 "puppy" → 相似的向量
  • "dog" 和 "database index" → 距离很远的向量
这使语义搜索(查找与查询含义相同的行)、聚类和推荐成为可能——这些都是关键字搜索处理不好的。

使用 VillageSQL:ai_embedding()

ai_embedding(provider, model, api_key, text) 调用一个嵌入模型并返回一个 JSON 数组字符串。

字符集转换

在 VillageSQL 0.0.6 及更早版本上,ai_embedding() 返回 binary 字符集,而 MySQL 的 JSON 解析器拒绝 binary 字符串——结果必须先经过 CONVERT(... USING utf8mb4),才能进入 JSON 列或 JSON 函数:
VillageSQL 0.0.7 及更高版本直接返回正确的字符集,因此在那里不再需要 CONVERT——但保留它没有害处,所以下面的每个示例仍然使用它,以兼容 0.0.6 及更早版本。

存储嵌入

将 JSON 数组存入 JSON 列:

为现有行回填嵌入

选择模型

对一个表中的所有嵌入使用同一个模型。来自不同模型的嵌入不可比较——混用它们会产生毫无意义的相似度分数。 Anthropic 目前不提供嵌入 API。 MySQL 和 VillageSQL 都不提供原生的向量距离函数。完整的相似度搜索——在大表中查找最近的向量——在应用程序代码中运行。典型的架构是:把嵌入存储在 MySQL 中,取出它们,在应用程序中计算余弦相似度,然后返回最匹配的结果。
把结果传给向量相似度库(NumPy、scikit-learn、Faiss)来查找最近邻。对于生产规模的搜索,请考虑在 MySQL 之外配备专用的向量数据库。

嵌入什么内容

嵌入的质量取决于您嵌入的内容。一些模式:
把要嵌入的文本控制在几千个 token 以内。更长的文本会被嵌入模型截断。

常见问题

我可以比较来自不同模型的嵌入吗?

不能。来自 text-embedding-3-small 和 gemini-embedding-001 的嵌入位于不同的向量空间——相互比较时它们的相似度分数毫无意义。每列统一使用一个模型。

嵌入占用多少存储空间?

一个包含 1536 个浮点数的 JSON 数组,作为文本字符串每行大约占 10–15 KB。对于大表,这会累积起来。请考虑是需要存储所有嵌入,还是只存储您要查询的那些。

ai_embedding() 支持批量输入吗?

不支持——每次调用处理一个文本输入。要批量生成嵌入,请在应用程序中循环遍历各行,并分批调用 UPDATE。

如果文本太长会怎样?

嵌入模型会在其 token 限制处截断输入(OpenAI 模型通常为 8191 个 token)。嵌入是基于截断后的文本计算的。对于长文档,请嵌入摘要或前几段,而不是全文。

故障排除

另请参阅