1. 项目概述

FedUHD是一个基于超维计算（Hyperdimensional Computing, HDC）的轻量级无监督联邦学习框架。这个框架由加州大学圣地亚哥分校的研究团队开发，旨在解决传统无监督联邦学习（UFL）面临的三大核心挑战：非独立同分布（non-iid）数据、高昂的计算通信成本以及对通信噪声的脆弱性。

在当前的边缘计算环境中，数据隐私保护和计算效率是两大关键需求。联邦学习作为一种分布式机器学习范式，允许设备在本地训练模型而无需共享原始数据，从而保护用户隐私。然而，大多数现有联邦学习方法都依赖于监督学习，需要大量标注数据，这在实际应用中往往难以满足。无监督联邦学习虽然免除了数据标注的需求，但传统基于神经网络（NN）的方法存在模型庞大、训练复杂等问题。

FedUHD的创新之处在于首次将超维计算引入无监督联邦学习领域。HDC是一种受大脑启发的计算范式，使用高维向量（称为超向量）来表示数据。相比传统神经网络，HDC具有几个显著优势：训练操作轻量级、模型尺寸小、对噪声鲁棒性强。这些特性使其特别适合资源受限的边缘设备。

2. 核心设计原理

2.1 超维计算基础

超维计算的核心思想是将输入数据映射到极高维度的空间（通常维度在1000-10000之间），在这个空间中，数据表示具有几个独特性质：

1. 高维表示 ：数据被编码为高维向量（超向量），其中每个维度都可以看作是某种"特征"的分布式表示。这种表示具有全息特性，即整个信息均匀分布在所有维度上，单个维度的变化不会显著影响整体表示。

2. 运算简单 ：HDC主要使用三种基本操作：绑定（乘法）、捆绑（加法）和置换（旋转）。这些操作都是元素级别的，可以高度并行化，非常适合硬件加速。

3. 鲁棒性 ：由于信息分布在整个高维空间中，HDC对噪声和部分信息丢失具有天然鲁棒性。即使部分维度被干扰，整体信息仍能保持。

在FedUHD中，每个数据点首先被编码为一个超向量。对于简单数据（如传感器读数），使用随机投影编码；对于图像数据，则先通过预训练的特征提取器（如ResNet）提取特征，再进行HDC编码。

2.2 无监督联邦学习挑战

传统无监督联邦学习面临三个主要挑战，FedUHD针对每个挑战提出了解决方案：

1. 非独立同分布数据 ：在真实场景中，不同设备上的数据分布往往差异很大。FedUHD采用两种机制应对：客户端侧的kNN聚类超向量剔除方法去除有害异常值；服务器侧的加权HDC聚合技术平衡不同客户端的数据分布。

2. 计算通信成本 ：边缘设备通常资源有限。FedUHD利用HDC的轻量级特性，相比神经网络减少100倍以上的计算量和10倍以上的模型大小。

3. 通信噪声 ：边缘网络环境不稳定。HDC的鲁棒性使FedUHD在存在数据包丢失或随机噪声时仍能保持较好性能，实验显示其噪声下的准确率下降比NN方法少49.27个百分点。

3. 系统架构与工作流程

3.1 整体框架

FedUHD的框架包含客户端和服务器两个主要部分，工作流程分为五个步骤（如图2所示）：

1. HDC编码 ：客户端将本地数据编码为超向量
2. 本地聚类 ：客户端对编码后的超向量进行k-means聚类
3. 模型上传 ：客户端将聚类结果（聚类超向量和聚类大小）上传至服务器
4. 全局聚合 ：服务器执行加权HDC聚合
5. 模型下发 ：服务器将更新后的全局模型下发至各客户端

这个过程迭代进行，直到模型收敛。与传统联邦学习不同，FedUHD传输的是聚类超向量而非模型参数，大大减少了通信量。

3.2 关键算法细节

3.2.1 kNN-based聚类超向量剔除

这是FedUHD在客户端的关键创新，用于处理non-iid数据。具体步骤如下：

1. 对于每个全局聚类超向量，找出其在本地数据中的k个最近邻
2. 检查这些邻居是否属于同一个聚类ID
3. 如果没有足够多（预设阈值）的邻居共享相同ID，则将该聚类视为"异常值"并剔除
4. 使用剩余的全局聚类超向量作为初始中心，重新进行本地聚类

这种方法有效过滤了与本地数据分布差异过大的全局信息，防止它们干扰本地模型训练。实验表明，不使用此方法时准确率会下降6.9%。

3.2.2 加权HDC聚合

服务器端的创新聚合算法，解决了无标签情况下的non-iid数据聚合问题。具体计算如下：

对于每个聚类j，其全局超向量g_j计算为： g_j = Σ(W_ij * l_ij) 其中W_ij = S_ij / ΣS_ij，即客户端i的聚类j大小占所有客户端聚类j总大小的比例

这种加权方式考虑了不同客户端上聚类规模的差异，即使没有真实标签，也能实现合理的全局模型聚合。

4. 实现与优化

4.1 工程实现细节

FedUHD使用Python实现，主要依赖PyTorch和Torchvision库。根据数据类型采用不同的编码策略：

• 对于HAR等简单数据：使用标准随机投影编码，维度为1000
• 对于CIFAR等图像数据：使用预训练的ResNet18作为特征提取器，后接随机投影，维度为10000

预训练的特征提取器保持冻结状态，不参与联邦学习更新，这既保证了特征质量，又避免了额外的计算开销。

4.2 参数选择与调优

FedUHD有几个关键参数需要合理设置：

1. 超向量维度(D) ：根据数据类型选择，简单数据1000，复杂数据10000
2. 聚类数量(J) ：应略大于真实类别数，实验中设为12(HAR)、64(CIFAR-10)、128(CIFAR-100)
3. kNN的k值(k_n) ：通常设为4-16，经测试k_n=16效果最佳
4. 本地训练轮数(E) ：设为10，平衡收敛速度和计算开销

这些参数需要通过验证实验确定，不同数据集可能需要微调。图6展示了参数敏感性分析结果。

5. 性能评估

5.1 准确率比较

在三个标准数据集上的实验结果显示（表II）：

• HAR(10客户端)：FedUHD 76.85% vs 最佳基线76.20%
• CIFAR-10(100客户端)：67.77% vs 55.27%
• CIFAR-100(100客户端)：26.86% vs 18.54%

平均而言，FedUHD比现有最佳NN方法准确率提高15.50%。随着客户端数量增加，优势更加明显，说明其特别适合大规模分布式场景。

5.2 效率优势

FedUHD在效率方面的优势更为显著：

• 训练速度 ：平均加速87.41倍，最高达173.6倍
• 能效 ：平均提升210.6倍，最高达612.7倍
• 通信开销 ：减少36-271倍，具体取决于数据集

这些优势主要来自HDC的轻量级特性，避免了神经网络的反向传播等昂贵操作。

5.3 鲁棒性测试

在两种通信故障场景下的测试结果（图5）：

1. 高斯噪声 ：FedUHD准确率下降24.46%，NN方法下降66.48%
2. 数据包丢失 ：FedUHD下降15.68%，NN方法下降64.95%

HDC的全息表示特性使其对各类干扰都具有很强容错能力，这对实际边缘部署至关重要。

6. 应用场景与部署考量

6.1 适用场景

FedUHD特别适合以下应用场景：

• 智能物联网设备 ：如智能家居传感器网络，设备资源有限且数据隐私敏感
• 移动健康监测 ：医疗数据需要严格隐私保护，同时设备计算能力有限
• 工业物联网 ：工厂设备监测，数据分布不均且通信环境复杂

6.2 部署建议

在实际部署FedUHD时，有几个实用建议：

1. 特征提取器选择 ：对于图像数据，使用在相关领域预训练的模型作为特征提取器
2. 维度调整 ：可根据设备能力调整超向量维度，在资源与性能间权衡
3. 通信频率 ：虽然FedUHD通信量小，但仍可进一步减少通信轮数以节省能耗
4. 异常检测 ：可利用kNN剔除机制同时实现异常检测功能

7. 局限性与未来方向

7.1 当前局限

尽管FedUHD表现出色，但仍有一些限制：

1. 对于非常复杂的数据（如高分辨率图像），准确率仍低于大型神经网络
2. 聚类数量J需要预先设定，且应大于真实类别数
3. 特征提取器仍需预训练，完全端到端的无监督学习仍有挑战

7.2 未来改进方向

可能的改进方向包括：

1. 动态调整聚类数量的机制
2. 结合少量标注数据的半监督扩展
3. 针对特定硬件优化的HDC操作实现
4. 与其他高效学习范式（如量化学习）结合

在实际部署FedUHD时，有几个关键点需要注意：

注意特征提取器的选择应与应用场景匹配，不匹配的特征提取会显著影响最终性能 超向量维度不是越大越好，过高的维度会增加计算开销但可能不会带来精度提升 在高度non-iid的场景中，可以适当增大k_n值以提高鲁棒性

我在实验中发现，对于CIFAR-100这样的细粒度分类任务，适当增加聚类数量J（如从128增加到256）可以带来约3-5%的准确率提升，但会增加约15%的计算开销。这种权衡需要根据具体应用需求来决定。另一个实用技巧是在早期训练轮次使用较小的k_n值，随着训练进行逐渐增大，这样既能快速收敛又能保证稳定性。