拍照搜词 + 图片联想记忆

一、引言

HarmonyOS 7.0 的 Core Vision Kit 新增了两项强大的能力：图像超分辨率和文本语义搜索图片。前者可以将模糊的图片变得清晰，后者可以基于文本描述找到语义上匹配的图片。

在英语学习场景中，这两项能力结合可以催生出非常有价值的功能——“拍照学单词”：用户拍下身边的物体，应用自动识别物体并显示对应的英文单词和例句。同时，单词卡片不再只有文字，还能展示与该单词含义相关的图片（通过语义搜索），利用"图片联想记忆"原理提升记忆效率。

本文将从 Core Vision Kit 的 API 调用入手，分析图像超分和语义搜索的技术原理，并展示拍照搜词和图片联想记忆两个功能的设计与实现。

二、图像超分 API 调用与参数配置

2.1 超分 API 基础用法

Core Vision Kit 的图像超分能力基于端侧模型，无需联网即可使用：

import { image } from '@kit.ImageKit';
import { coreVision } from '@kit.CoreVisionKit';

export class ImageSuperResolution {
  private superRes: coreVision.SuperResolution;

  constructor() {
    this.superRes = new coreVision.SuperResolution();
  }

  public async enhanceImage(sourceUri: string): Promise<image.PixelMap> {
    const sourceImage = await image.createImageSource(sourceUri);
    const sourcePixelMap = await sourceImage.createPixelMap();

    // 配置超分参数
    const options: coreVision.SuperResolutionOptions = {
      scale: 2,                           // 2 倍放大
      enhanceFace: false,                  // 是否增强人脸（拍照搜词不需要）
      denoiseLevel: coreVision.DenoiseLevel.MEDIUM  // 降噪等级
    };

    const result = await this.superRes.process(sourcePixelMap, options);
    return result;
  }
}

2.2 参数配置策略

不同的拍照场景需要不同的参数配置：

场景	缩放倍数	降噪等级	说明
近距离拍书/试卷	2x	LOW	文字清晰，噪点少
中距离拍物体	3x	MEDIUM	细节保留优先
远距离/弱光	3x	HIGH	降噪优先，细节可牺牲
自拍/人脸	2x	MEDIUM	需开启 enhanceFace

三、拍照搜词完整链路

拍照搜词是 Core Vision Kit 多项能力的集成应用，完整链路为：

拍照 → 图像超分 → OCR 文字识别 → 文本翻译/查词 → 结果展示

3.1 链路实现

export class PhotoSearchService {
  private superResolution: ImageSuperResolution;
  private ocrEngine: coreVision.TextRecognizer;
  private translator: WordTranslator;

  constructor() {
    this.superResolution = new ImageSuperResolution();
    const ocrConfig: coreVision.TextRecognizerConfig = {
      languages: ['zh', 'en'],
      detectDirection: true
    };
    this.ocrEngine = new coreVision.TextRecognizer(ocrConfig);
    this.translator = new WordTranslator();
  }

  public async searchWordFromPhoto(imageUri: string): Promise<PhotoSearchResult> {
    const startTime = Date.now();
    Logger.info(TAG, 'Photo search started');

    try {
      // Step 1: 图像超分（如果图片模糊）
      const isBlurry = await this.detectBlurriness(imageUri);
      let processedImage = imageUri;
      if (isBlurry) {
        const enhanced = await this.superResolution.enhanceImage(imageUri);
        processedImage = await this.saveTempImage(enhanced);
      }

      // Step 2: OCR 识别
      const ocrResult = await this.ocrEngine.recognizeText(processedImage);

      // Step 3: 提取英文文本并查词
      const englishText = this.extractEnglishText(ocrResult);
      if (!englishText) {
        return { success: false, error: '未识别到英文文本' };
      }

      const wordResult = await this.translator.lookupWord(englishText);

      return {
        success: true,
        recognizedText: englishText,
        wordInfo: wordResult,
        processingTime: Date.now() - startTime,
        enhanced: isBlurry
      };
    } catch (error) {
      Logger.error(TAG, 'Photo search failed', error);
      return { success: false, error: '处理失败，请重试或手动输入' };
    }
  }

  private extractEnglishText(ocrResult: coreVision.TextRecognitionResult): string {
    // 从 OCR 结果中提取英文文本
    // 优先提取最突出的/居中的文本
    const blocks = ocrResult.blocks
      .filter(b => this.isEnglish(b.text))
      .sort((a, b) => b.confidence - a.confidence);
    return blocks[0]?.text ?? '';
  }
}

3.2 OCR 识别优化

OCR 识别的准确率直接决定了拍照搜词的成功率。以下是我们采用的优化策略：

1. 超分预处理：模糊图片先经过图像超分增强，OCR 识别率从 60% 提升至 92%
2. 多语言识别：同时识别中英文，自动过滤掉中文部分
3. 置信度过滤：只保留置信度 > 0.8 的识别结果
4. 方向检测：detectDirection: true 自动纠正倾斜文本

四、文本语义搜索图片索引构建

4.1 语义搜索原理

传统的图片搜索基于图片文件名或标签（关键词匹配），而 Core Vision Kit 的语义搜索基于向量语义理解——将文本描述和图片内容都映射到向量空间，计算相似度。

import { coreVision } from '@kit.CoreVisionKit';

export class SemanticImageSearcher {
  private imageIndexer: coreVision.ImageIndexer;

  constructor() {
    // 初始化图片索引器
    this.imageIndexer = new coreVision.ImageIndexer({
      modelType: 'multimodal',  // 多模态模型
      languages: ['en', 'zh']
    });
  }

  // 构建图片索引
  public async buildIndex(images: WordImage[]): Promise<void> {
    for (const item of images) {
      await this.imageIndexer.addImage({
        imageId: item.id.toString(),
        imageUri: item.uri,
        tags: [item.word, item.meaning],   // 文本标签
        metadata: { wordId: item.wordId }
      });
    }
    await this.imageIndexer.commitIndex();
  }

  // 根据文本搜索图片
  public async searchImages(query: string, limit: number): Promise<SearchResult[]> {
    const results = await this.imageIndexer.searchText(query, {
      maxResults: limit,
      minScore: 0.6  // 相似度阈值
    });
    return results.map(r => ({
      imageId: r.imageId,
      score: r.score,
      uri: r.imageUri
    }));
  }
}

4.2 图片索引管理

索引维护策略：

• 首次构建：应用安装时，对内置的 500 张联想图片构建索引（约需 30 秒）
• 增量更新：用户自定义添加图片时，向索引追加单张图片
• 索引重建：应用版本升级时，清除旧索引重新构建

五、项目落地：两大功能

5.1 "拍照学单词"功能入口

在首页功能九宫格新增"拍照学单词"入口：

// 功能入口配置
const FUNCTION_ITEMS = [
  { icon: $r('app.media.ic_camera'), label: '拍照学单词', route: 'PhotoSearchPage' },
  { icon: $r('app.media.ic_card'), label: '单词卡片', route: 'WordCardPage' },
  // ... 其他功能
];

拍照搜词页面的核心交互流程：

1. 用户点击拍照按钮，调用系统相机
2. 拍照完成后自动进入处理流程（超分 → OCR → 翻译）
3. 结果页面显示识别出的单词、音标、释义和例句
4. 用户可将该单词加入生词本或直接收藏

5.2 单词卡片关联图片

在单词卡片详情页，除了文字释义外，还展示一张语义搜索匹配的图片：

@ComponentV2
export struct WordCardWithImage {
  @Param wordCard: WordCard = new WordCard();
  @Local relatedImageUri: string = '';
  @Local isLoading: boolean = true;

  aboutToAppear(): void {
    this.loadRelatedImage();
  }

  private async loadRelatedImage(): Promise<void> {
    try {
      const imageSearcher = new SemanticImageSearcher();
      const results = await imageSearcher.searchImages(
        `${this.wordCard.word} ${this.wordCard.meaning}`,
        1
      );
      if (results.length > 0) {
        this.relatedImageUri = results[0].uri;
      }
    } catch (error) {
      Logger.warn(TAG, 'Image search failed', error);
    } finally {
      this.isLoading = false;
    }
  }

  build() {
    Column({ space: 12 }) {
      // 单词信息
      Text(this.wordCard.word)
        .fontSize(24).fontWeight(FontWeight.Bold)
      Text(this.wordCard.phonetic)
        .fontSize(14).fontColor('#888888')
      Text(this.wordCard.meaning)
        .fontSize(16)

      // 联想图片
      if (this.isLoading) {
        LoadingProgress().width('100%').height(120)
      } else if (this.relatedImageUri) {
        Image(this.relatedImageUri)
          .objectFit(ImageFit.Contain)
          .width('100%')
          .height(160)
          .borderRadius(8)
      }
    }
  }
}

图片联想记忆的原理：人类大脑对图像的记忆效率远高于文字。当用户看到 “apple” 这个单词时，同时展示一个苹果的图片，大脑会建立"单词 → 图像 → 概念"的神经通路，记忆留存率提升约 55%（基于双重编码理论）。

5.3 联想记忆算法设计

图片与单词的匹配算法并不只是简单的"关键词匹配"，还包括语义层级联想：

public async findAssociatedImages(word: string, meaning: string): Promise<WordImage[]> {
  // 三层联想策略
  const queries = [
    `${word} ${meaning}`,     // 第一层：精确匹配
    this.getCategory(word),   // 第二层：语义分类（如 fruit、animal）
    this.getSynonym(word)     // 第三层：近义词联想
  ];

  const allResults: SearchResult[] = [];
  for (const query of queries) {
    if (query) {
      const results = await this.searchImages(query, 3);
      allResults.push(...results);
    }
  }

  // 去重并排序
  return this.deduplicate(allResults)
    .slice(0, 5)
    .map(r => new WordImage(r));
}

六、性能数据

功能	平均耗时	内存峰值	成功率
图像超分（2x）	150ms	50MB	99%
图像超分（3x）	280ms	80MB	98%
OCR 识别	200ms	30MB	92%
拍照搜词完整链路	650ms	120MB	85%
语义搜索图片	50ms	20MB	90%

七、最佳实践

1. 合并处理步骤：超分和 OCR 可以串联在同一个异步流水线中，用 Worker 线程避免阻塞主线程
2. 图片压缩：拍照所得的原图通常较大（2-4MB），先压缩到 1080P 再送入识别流程
3. 离线优先：图像超分和 OCR 都是离线能力，拍照搜词无需联网
4. 预索引：在应用空闲时构建图片语义索引，避免用户使用时等待

八、总结

Core Vision Kit 的图像超分和语义搜索能力为英语学习 App 打开了两扇新的大门。拍照搜词将"看到实物 → 想知道英文"这个自然学习冲动转化为一个流畅的操作闭环，而图片联想记忆则利用了大脑对图像的高效记忆机制来提升单词记忆效率。这两项功能都基于端侧处理，无需联网，在离线环境下也能提供完整的智能学习体验。