## 一、为什么做这个对标

bge-m3（567M 参数，1.2GB）是中文嵌入的业界标杆，但体积和依赖决定了它只能跑在服务器上。MiniLM（23M 参数，80MB）是"小模型"代表，但仍需 PyTorch 生态。白泽需要上手表、上无人机、上离线设备、上 2G 网络——这要求一个**从零开始、无依赖、可验证**的嵌入引擎。

V9v3 的设计目标不是打败 bge-m3 的精度，而是**在可接受的精度损失下，实现 180 倍体积压缩、40 倍速度提升和零依赖部署**。

---

## 二、四模型六维度对标框架

| 模型 | 参数量 | 体积 | 依赖 | 上下文 | 维度 |
|------|--------|------|------|--------|------|
| **V9v3 (C/JS)** | **3.15M** | **12.3MB / 64MB** | **零依赖 / Node.js** | **96 tokens** | **1024** |
| bge-m3 (Ollama) | 567M | 1.2GB | Ollama 1.2GB | 8192 tokens | 1024 |
| MiniLM-L6-v2 (HF) | 23M | 80MB | PyTorch ~800MB | 512 tokens | 384 |

**六维度**：速度、语义质量、边缘网络、边缘退化鲁棒性、数值稳定性、工程可部署性。

---

## 三、核心数据（全部实测，10 次取中位数）

### 1. 速度：V9v3(C) 2.84ms，碾压所有竞品

| 场景 | V9v3(C) | V9v3(TS) | MiniLM | bge-m3 |
|------|---------|----------|--------|--------|
| 短文本纯推理（~8字） | **2.84ms** 🏆 | 12.57ms | 9.19ms | 115ms¹ |
| 长文本纯推理（~96字） | **28.89ms** | — | 26.25ms | 193ms² |
| 首次请求（模型需加载） | **~10ms**³ | 63ms | ~13s | **~10s**⁴ |

> ¹ bge-m3 115ms 为 Ollama 服务已启动、模型在内存中的 HTTP 请求耗时。  
> ² bge-m3 原始 >49 字触发 NaN，193ms 为渐进式缩短至安全长度后的耗时。  
> ³ V9v3(C) 为单文件可执行程序，12MB 权重从 SSD 加载 + warmup 总计约 10ms，无进程启动开销。  
> ⁴ bge-m3 全冷启动（Ollama 服务 + 1.2GB 模型从磁盘加载 + 首次推理），实测约 10 秒。

**关键发现**：
- V9v3(C) 比 MiniLM 快 **3.2 倍**，比 bge-m3（热启动）快 **40.5 倍**
- 长文本下 V9v3(C) 28.89ms 与 MiniLM 26.25ms 几乎持平，但 V9v3 参数少 7 倍、零依赖
- bge-m3 存在严重 NaN 崩溃问题，长文本需缩短处理，生产可靠性存疑

---

### 2. 语义质量：V9v3 区分余量最优

| 模型 | 语义区分余量 (margin) | 说明 |
|------|----------------------|------|
| **V9v3** | **0.5052** 🏆 | 同类 vs 异类区分最清晰 |
| bge-m3 | 0.4926 | 接近 V9v3，差距 <1.3% |
| MiniLM | 0.2297 | 区分力明显弱，约为 V9v3 的 45% |

> 测试方法：50 组中文短文本（同类/异类），计算同类相似度均值 - 异类相似度均值。V9v3 的 margin 高于 567M 的 bge-m3，说明在短文本场景下，模型架构的语义捕捉能力不输大模型。

---

### 3. 边缘网络：V9v3 是唯一可行的选项

| 网络条件 | V9v3(C) | V9v3(TS) | MiniLM | bge-m3 |
|---------|---------|----------|--------|--------|
| 宽带 100Mbps | **1.0s** | 5.1s | 6.4s | 96s |
| 4G 10Mbps | **10s** | 51s | 64s | 960s |
| 3G 1Mbps | **98s** | 512s | 640s | 9600s |
| **偏远 2G 200Kbps** | **492s (8.2min)** | 2560s | 3200s | **48000s (13.3h)** |

> **关键结论**：偏远地区 2G 网络下，V9v3(C) 12.3MB 传输仅需 **8 分钟**，而 bge-m3 需要 **13.3 小时**。MiniLM 53 分钟勉强可接受，但 200MB 内存占用超出 256MB 设备预算。

---

### 4. 边缘退化鲁棒性：三模型接近，V9v3 参数最少

10 种网络退化场景（丢包、延迟、乱序、重传等）下，语义相似度保持率：

| 模型 | 平均保持率 | 说明 |
|------|-----------|------|
| MiniLM | **0.9054** | 最高，但体积大 6.5 倍 |
| bge-m3 | **0.8689** | 接近 MiniLM |
| **V9v3** | **0.8662** | 与 bge-m3 同级，参数少 180 倍 |

> V9v3 在模拟恶劣网络条件下，语义输出稳定性与 567M 的 bge-m3 持平，但体积和依赖远优于后者。

---

### 5. 数值稳定性：V9v3 零崩溃，bge-m3 存在严重缺陷

| 测试项 | V9v3(C) | V9v3(TS) | bge-m3 | MiniLM |
|--------|---------|----------|--------|--------|
| 空字符串 | ✅ PASS | ✅ PASS | 未公开 | 未公开 |
| 零宽字符 / BOM | ✅ PASS | ✅ PASS | 未公开 | 未公开 |
| 200 字长文本 | ✅ PASS | ✅ PASS | **NaN 崩溃** | ✅ PASS |
| 特定 50 字文本 | ✅ PASS | ✅ PASS | **NaN 崩溃** | ✅ PASS |
| 1000 轮随机文本 | ✅ 零崩溃 | ✅ 零崩溃 | 未公开 | 未公开 |
| 顺序独立性 | ✅ diff=0.00 | ✅ diff=0.00 | 架构保证 | 架构保证 |
| 跨实现一致性 | ✅ C/TS diff=3.17e-8 | 同左 | Python only | Python only |

> V9v3 的 9 模块压力测试（28 组边界文本、1000 轮稳定性、状态隔离、确定性验证）全部通过，证明了工程鲁棒性。

---

### 6. 工程可部署性：V9v3 唯一零依赖

| 指标 | V9v3(C) | V9v3(TS) | bge-m3 | MiniLM |
|------|---------|----------|--------|--------|
| 运行时依赖 | **libc only** | Node.js | Ollama + 1.2GB | PyTorch + 800MB |
| 跨平台一致性 | ✅ C/TS diff=3.17e-8 | 同左 | Python only | Python only |
| 并发安全 | ✅ 无状态 | ✅ 无状态 | 未公开 | 未公开 |
| 离线部署 | ✅ 完全离线 | ✅ 完全离线 | ❌ 需 Ollama 服务 | ❌ 需 PyTorch |

---

## 四、发现的竞品严重问题

### bge-m3 NaN 崩溃（reproducible）

**触发条件**：
- 200 字中文长文本 → **NaN 崩溃**
- 特定 50 字文本（含部分技术关键词）→ **NaN 崩溃**
- 边缘测试基线文本（63 字符）→ **NaN 崩溃**

**根因分析**：
Ollama 的 bge-m3 实现中，特定中文 token 组合触发 LayerNorm 除零或激活溢出。567M 大模型的数值范围更宽，反而在极端输入下更难控制。

**我们的 workaround**：
在 benchmark 中为 bge-m3 实现了渐进式文本缩短重试（100%→75%→50%→25%），但这不是生产可用方案——**生产环境中不能对输入文本做不可控截断**。

> 这是自研小模型的隐性优势：参数少、计算路径短、数值范围可控，反而更容易做到绝对稳定。

---

## 五、应用场景：

V9v3 的 12MB 体积 + 零依赖 + 2.8ms 推理，使其适用于任何**计算受限、网络不可靠、延迟敏感**的环境：

| 场景 | 关键需求 | V9v3 适配性 |
|------|---------|------------|
| **无人机机载视觉** | 机载计算、低功耗、实时 | ✅ 12MB 可烧录到飞控芯片，2.8ms 满足实时性 |
| **工业传感器节点** | 离线运行、无网络、长期稳定 | ✅ 零依赖，libc 即可，无崩溃风险 |
| **车载语音助手** | 低延迟响应、隐私保护 | ✅ 本地推理，不上云，2.8ms 极速 |
| **智能摄像头（边缘 NVR）** | 多路视频语义检索 | ✅ 1024 维嵌入可存索引，批量推理效率高 |
| **可穿戴设备（手表/手环）** | 极小内存、极低功耗 | ✅ 12.3MB 内存占用，256MB RAM 轻松运行 |
| **卫星/航天器载荷** | 抗辐射、极简软件栈 | ⚠️ 需硬件验证，但 C 代码可审计、无黑箱依赖 |
| **战场/应急通信设备** | 断网环境、快速部署 | ✅ 200Kbps 8 分钟传输，无需基础设施 |

---

## 六、局限与诚实声明

| 局限 | 说明 |
|------|------|
| 上下文 96 tokens | 设计取舍，面向短文本/句子级嵌入 |
| MTEB 未跑 | 需补充 C-MTEB 中文评测 |
| 多语言有限 | 4096 中文词表，英文/日文能力未验证 |
| 长文本不支持 | 明确不支持，非目标场景 |
| bge-m3 长文本 NaN | 已知问题，非 V9v3 可控 |

> 我们不回避这些局限。V9v3 的定位是**中文短文本嵌入的边缘部署专家**，不是通用大模型替代者。

---

## 七、结论

| 场景 | 推荐模型 |
|------|----------|
| 服务器级精度优先 | bge-m3（注意 NaN 风险） |
| 服务器级吞吐量优先 | MiniLM |
| **边缘/离线/2G 网络/可穿戴** | **V9v3(C)** 🏆 |
| **速度要求极高（<3ms）** | **V9v3(C)** 🏆 |
| 零依赖嵌入 C/JS 项目 | **V9v3(C)** 🏆 |
| 工程稳定性要求极高 | **V9v3** 🏆 |

V9v3 用 3.15M 参数和 12.3MB 体积，在边缘部署场景实现了对 567M/1.2GB 模型的替代。