项目源码 · README

开源鸿蒙跨平台开发者社区 · React Native for OpenHarmony

前言

「左一 清晨核对温度」后面,原本该接「左二 Read the sensor」。我把真机识别出来的十行按纵坐标排了一遍,第三行却是「右一 复查湿度曲线」。再往下,右二跑到左二前面。左栏写的是巡检步骤,右栏写的是复核事项,交错起来就成了一份看似完整、读起来不断跳步的记录。

本例用 React Native 做了一张对照台,左侧保留扫描样张和识别框,右侧可以切换「按纵坐标」和「按列阅读」。两种视图读取的是鸿蒙 OCR 返回的同一组数据。每次点一条结果,原图里的位置也跟着高亮,便于逐行检查。

按第三行定位错序

这轮识别得到十行。在按纵坐标排序的模式下,第三行是「右一 复查湿度曲线」。按讲义的阅读顺序,第三行应是「左二 Read the sensor」。两个列表开头同是标题和左一,差别就在第三行。右二甚至跑到了左二前面,因为系统给右二的框顶略高。两行看上去齐平,并不代表它们的坐标相同。

MatePad Edge 真机全屏:按纵坐标时左右栏交替

MatePad Edge 真机全屏:按纵坐标时左右栏交替 · 查看原件

MatePad Edge 真机全屏:按列阅读时先读左栏,再读右栏

MatePad Edge 真机全屏:按列阅读时先读左栏,再读右栏 · 查看原件

MatePad Edge 真机全屏:切换顺序和点选原图中的识别框

MatePad Edge 真机全屏:切换顺序和点选原图中的识别框 · 查看原件

真机演示:双栏讲义按列阅读

MatePad Edge 实机操作 · 查看原件

MatePad Edge 实机操作

手工参考顺序在试验之前固定下来:跨栏标题,左一到左四,右一到右四,最后是跨栏页尾。只数返回行数,两种排序都是 10。需要用每个位置上的行身份做对照,才能看出变化。为免把识别错误混进顺序结果,本次根据「左一」等短标签确定行身份,原始识别文本也照样保留。右二的原文是 Compare the logs,识别结果为 compare the logs,排序不会也不应该替 OCR 把首字母修回去。

方式读序与人工参考同位置
人工参考标题、左一、左二、左三、左四、右一、右二、右三、右四、页尾10 / 10
纵坐标排序标题、左一、右一、右二、左二、左三、右三、左四、右四、页尾4 / 10
划分栏位后排序标题、左一、左二、左三、左四、右一、右二、右三、右四、页尾10 / 10

这组数值是单张固定讲义上的行位置比较。换一种版面,规则可能适用,也可能需要换一种列边界检测。横向比较两种排列的时候,图片、设备和系统识别结果都相同,这样差异只能来自本例对坐标的处理。

复查时先别纠正英文大小写。把原行框和原字串一起留下,之后才能判断改进的是排序还是识别文字。

原图上的行框

SheetPackage.ets 通过资源管理器读取同一张 1120×1000 PNG,由 ImageSource 解码成 PixelMap,再交给 textRecognition.recognizeText。遍历识别出的块和行,每行保留原始文字和四边范围。系统接口给了角点,这里只取横纵坐标的最小与最大,得到可以在原图上画出的矩形。采集宽高来自实际解码图片,避免前端按屏幕大小误解释识别坐标。

方框与文字一起返回 React Native。有些接入只把识别后的全文传到页面,再按换行符拆分。对固定的单栏笔记也许够用,但丢了坐标以后,页面只能猜每一行属于哪一栏。定位、点选、去掉页眉这类操作也都要重新获取版面信息。因此这个示例保留行文本和范围,渲染列表时再用选中的规则。完整结果用 JSON 字符串过桥,界面解析后才根据需要计算排序。复制字符这件事与重新选择读序可以独立操作。

VS Code 实际工程:读取系统行角点并转成矩形

VS Code 实际工程:读取系统行角点并转成矩形 · 查看原件

原生桥有两侧注册。ArkTS 把实现挂到 SheetOcr,C++ 侧注册同名模块并声明 recognize 返回异步结果。React Native 从 TurboModuleRegistry 取模块。界面已经能启动、按钮也能按,并不能说明桥已接好。排查时可以分开检查:先看两侧名字,再看调用有没有进入 recognize,随后才检查 OCR 能力和图片解码。模拟器这次能打开页面,而且日志记录了模块创建;识别没有拿到真机那样的行数据。

原图与预览是同一素材,但两者尺寸的单位不同。API 回来的框是原图像素,页面按显示宽度与原图宽度的比值同时缩放横纵坐标。讲义以原始宽高比展示,因此可以用同一缩放比例。若产品把图片裁切成封面或居中留边,还要加上实际内容在容器中的偏移。否则列表点中的是正确行,原图却会高亮到邻近内容,用户容易以为 OCR 把另一行认进来了。

标题、左栏、右栏、页尾

先按纵坐标排一份,作为比较起点。按列处理时,先找横跨中央留白的文本行,把它们留在单独的位置。剩下的行按中心点分左右两栏。标题和页尾把页面分成了几个纵向区间,每个区间先读左边再读右边,再插入下一个横跨的文本行。在这张讲义上,主区间只有一个,正好先走左四行,再走右四行。保留区间步骤是为了将来放入一条横跨两栏的中段小标题时,还能重新验证前后区域是否按预期读。

VS Code 实际工程:中缝、跨栏行及每段左右栏排序

VS Code 实际工程:中缝、跨栏行及每段左右栏排序 · 查看原件

用中缝的前提是版面本来就对称,而且每行单独的识别框没有跨到另一侧。手机拍歪了之后,中缝在图中的位置可能随高度偏移,单一竖线就不好使;左右栏宽度差得大时,应该从每一列文本的分布推断中缝。有的段落会出现占满半边的长标题,在宽屏图上看起来比另一列长,长度本身不足以确定它是否跨栏。把跨栏条件写成“框从中缝一侧跨过留白到另一侧”,至少说明了这次判断依赖什么。表格、引文或多栏新闻版可以另外建立样张,不适合直接将双栏结果当通用能力。

本例的页头与页尾都故意比中缝更长。如果某张讲义把短标题写在左上但语义上仍横跨两栏,几何规则可能把它归入左栏;这不是当前样张的测试条件。实际应用可以将已知版面区域随模板提供,或让用户从页面上校正分区。这些都比在复制文本后强行移动第一行更容易验证,因为可以在原图上看到规则选中了哪块区域。

看一次坐标怎么改变结果

取这张讲义左侧第二行和右侧第一行作为例子。两行都属于正文区域,谁在前取决于排序时的第一关键字。按纵坐标排,两行各自的横向位置要等到纵坐标恰好相同时才参与比较。两栏文字间距相近,一侧正文稍微靠上,下一条结果就可能跳到那一侧。读到第三行时看到右栏内容,基准排序其实遵守了自己的比较规则。将行归入左右栏之后,栏位才成为这组行的首要约束,同一栏内部继续按纵坐标读。于是左侧第二行稳定地排在右侧第一行之前。

归栏时取行框的左右中点,和图像中心比较。字号和字数会影响行框的宽度,使用中点可以让较长或较短的左栏行落到同一组,但也有临界情形。比如一段跨过中央的长引文,只靠中点就会被划到某一侧。代码在归栏前先判断它是否从中央留白的一边延伸到另一边,因此把讲义的页头和页尾保留下来。先做跨栏判断,再按栏分组,读完正文后才能回到页尾。把这两步颠倒,页尾的中心落到哪边就可能跟着哪边读。

中缝容差以原图宽度的比例计算。目的在于放宽中心附近的判断,避免某一行边缘贴近中央就被当成跨栏。示例按图宽乘 0.018 设置半边间距,并没有寻找纸张上真实的列间空带。同一张图用不同显示宽度时,排序仍然使用原图坐标,所以画面横竖切换不会让中缝在逻辑上移动。以后要做旋转或自动裁边,宜先在确定的图像坐标系里完成识别和排序,最后再将框变换到看图区域。若一个环节使用裁图宽度,另一个用未裁原图宽度,光看列表往往发现不了错位。

示例先按行框把区域排好,再从跨栏行位置划分区间。它可以解释为什么没有直接把左侧全部放到右侧前面。比如中段有跨栏小标题,上半部分的右栏应该在小标题之前,下半部分的左栏却在小标题之后。如果把所有左栏提前,读到小标题时上下段就会乱。当前真机样张只有页头与页尾,已经能验证一个区间。加入中段标题之前可以先准备一张人工参考顺序,按照上段左、上段右、标题、下段左、下段右标出期望,再找错位从哪一行开始。这比选一张复杂讲义看整个页面“是否大致对”更容易定位。

人工参考怎么做

编写样张时,每个正文行有一个可辨认的标识,例如「左二」或「右三」。人工只需要提前记录这些标识的排列。原字串仍然保留,后续可以单独检查字符。之所以选择这个办法,是因为字符错误和顺序错误的评分逻辑不同。右二大小写识别有差异,它仍然是右二。按整行字符串完全相等计算,虽然更严格,却会把这条已经排对的行也算成错位。反过来,如果 OCR 把两行合并,锚点就无法可靠用来标识单行,测试应该另外报告“行被合并”,不能在计算读序时任意拆开。

用 Python 3 对保存的两份行序列计数,人工预先标出的行序作为基准。输入来自 MatePad Edge 上同一次 OCR 返回的 10 个行框,图片、设备和识别结果相同,两种方案只改变排序规则。

读序指标按纵坐标先分栏再排序计数方法
同位置行数4 / 1010 / 10逐位置核对行标签
前后关系正确的行对38 / 4545 / 45任取两行,检查相对前后
连续读对的相邻行对4 / 99 / 9逐对检查参考顺序中的相邻行是否仍按同一方向紧邻

例如,纵坐标方案中的「左二」和「左三」仍然前后相邻,但两行都偏离了参考位置。相邻行对能看出连续阅读有没有被打断,同位置行数则能找出从第几行开始走错。这三项都只衡量当前样张的读序,不衡量字符识别准确率,也不用于推算耗时。

需要注意,证据截图里的编号会随排序规则重新分配,它表示现在第几项,不是原生 OCR 行的永久标识。点击两种排序里的第三项,预期高亮的文本不同。核对时留意两条信息,一是列表中的文字身份,二是框在样张上的落点。这样可以捕捉一种单看截图不容易注意的问题:列表确实重新排序了,点击详情还在使用排序前的数组索引。因为标签和高亮跟着结果一起显示,左右栏交错的错误可以在页面上直接读出来。

把这步放进日常复测,只需要一页固定样张和一份人工读序。先生成基准列表,再生成调整后的列表,输出两份行身份,最后用同一份人工表比较。替换底图之前先核对图像尺寸与身份标签。栏目分隔一旦改变,以前那套人工参考也要重新确定。这里所说的“调整前后”始终是同一套识别输出走两条排序路径,不能拿两次拍照、两次识别出来的数据衡量排序本身。

坐标与界面分开验收

缩放预览时,页面先通过容器宽度确定显示比例,将原图坐标换到容器中再画边框。测试可以先点标题,检查框有没有横跨中线。再点左栏靠下的一项,观察框会不会同时偏到右下。若一组框越靠边就偏得越多,通常要优先怀疑缩放比例。若所有框统一偏移一段,可能是容器内存在留边。比如使用 contain 布局时,图像占用的矩形与布局节点的矩形不总是重合,应该先定位真正绘图的上下边界,再换算识别结果。

同一页有两片可滚动区域时,点条目后若原图还在旧位置,光亮一个框不太容易找到。示例的整张讲义在左侧保留完整预览,右边用一列可点击的结果来复查,不需要用户从另一个页面找原图。真实工作台如果要放大图像,可以提供点击行跳到对应区域,或者保持最后一个位置。加上搜索和复制后也需要规定,复制的是排序后的整页还是当前筛选结果。将“识别数据”“当前视图顺序”和“选中行”分别管理,排序切换时就能明确选择是否保留同一行。

模拟器现在能画出页面和原图,点识别后的明确反馈是设备未提供通用文字识别。这说明界面以及部分桥接能够验证,而系统返回的框只能来自运行时确实提供能力的设备。排查时先确认界面带着同一份底图启动,再点识别记录原生返回。如果没有任何反馈,检查 Bundle、原生模块名和桥接声明;如果反馈不支持,检查系统能力和原生初始化。出现正确的业务错误提示有其验证价值,但真机的文字、行框和行序证据不能被那张提示图替代。

下一张样张怎么选

比起再找一张同样整齐的对称讲义,下一页更值得选择三种能暴露边界的结构。第一种在两栏中间加一条跨栏小标题,检验分段是否生效。第二种左栏宽、右栏窄,检查固定中心线是否失效。第三种让表格占据一个区间,明确测试规则是逐列读、逐行读,还是应保留表格原有结构。给样张先写期望、再跑识别,避免看了结果以后倒过来调整“正确顺序”。

还有一种边界是左栏和右栏之间恰好有较长的标题和脚注。当 OCR 把脚注合成两行,可能一行跨中缝,另一行只在左侧。此时逐行几何规则会把同一段脚注拆入两个区域。上线版可以先识别同一段落的多行文本,用段落框归类,或允许人工合并。无论用哪个策略,输出要保留能回看原图位置的坐标。语义重排有时会提升通顺度,但对需要核验原件的应用,用户还应能回到原来的每一行。本文验证以能逐行定位的简单讲义为范围。

选版面还得看产品目的。辅助朗读更关心长段的连续性,复制表格更关心行列结构,说明文档复核则更关心能否逐条返回原图。三者共用 OCR,也可能需要不同的读序约定。版面处理可以给调用方提供显式选项,把适用条件写入用户可理解的界面名。当前按钮叫「按纵坐标」与「按列阅读」,便于读者自己看见两条规则。它没有自由探索图像里任意位置的专业排版能力,示例中得出的十行结果只对这页固定素材负责。

保存一份可以追查的结果

调试日志中可以记录图片尺寸、识别到的行数、跨栏数量和排序模式。对这张公开测试讲义,保存完整框和字串便于复现。如果后来处理的是用户上传文档,建议默认只保留这些计数、错误类别和请求编号。看图时确有必要比较坐标的,可以在明确同意和限定范围下启用诊断。排障先看原生拿到多少行,再看桥后还剩多少行,最后看排序列表包含多少项,在哪一步减少就优先查那一段。页面没有显示任何行,有可能是系统返回了零行,也有可能是能力检查没通过,应该用不同提示表达。

若接入前端代码想先单测规则,准备几组很小的坐标对象即可。定好宽度和框的坐标后,让左右各一行处在同样的纵坐标。再向上移动右栏那条坐标,纵向排序的首项应该变化,按列排序仍然先左后右。最后加一条横跨两侧留白的中段标题,看后面的文字是否进入下一个区间。因为这个函数不负责识别字,也不负责画图,这种小测试可以快速定位修改是否影响过多。真机复测则继续使用系统的原始返回,确认坐标结构和真实图像能对上。

验证环境

项目型号或版本验证范围
真机华为 MatePad Edge(QXS-W00),HarmonyOS 7.0.0.111(SP16C00E111R6P5),API 26,ARM64系统 OCR 返回 10 行,两种排序与点选高亮
模拟器MatePad Pro 13 平板镜像(PADEMU-FD00),DevEco Emulator 26.0.0.402,HarmonyOS 7.0.0.107(SP8DEVC00E16R1P1),API 26,x86_64RN 页面可用,模块已创建,识别未获得行数据
构建DevEco Studio 6.1.1.300,SDK 26.0.0.105,命令行工具 26.0.0.865,JDK 21编译并打包 ARM64 和 x86_64
框架React Native 0.84.1,RNOH 与 Harmony CLI 0.84.4TurboModule、本地 JS Bundle、React Native 对照台

真机设置中的「关于本机」

真机设置中的「关于本机」 · 查看原件

模拟器设置中的「关于本机」

模拟器设置中的「关于本机」 · 查看原件

DevEco Studio 原生版本窗口

DevEco Studio 原生版本窗口 · 查看原件

API 26 模拟器全屏:启动后的 React Native 阅读对照台

API 26 模拟器全屏:启动后的 React Native 阅读对照台 · 查看原件

API 26 模拟器全屏:原生模块返回当前设备未提供通用文字识别

API 26 模拟器全屏:原生模块返回当前设备未提供通用文字识别 · 查看原件

FAQ

为什么按纵坐标以后左一和右一交替?

左右栏共用同一个高度范围。基准规则把框的顶部放进同一条纵轴,正常运行也会产生交错。这是基准的限制。要确认它没把某一行位置比较错,可以打开原图的识别框,逐一点击第三、第四行,看高亮落在左侧还是右侧。框位置正确、顺序不符合阅读时,才该改版面排列规则。

为什么列表里英文的大小写和讲义不完全一样?

识别输出和排序是两项独立的检查。案例里右二出现小写 compare,字符错误如实保留。若同时自动改大小写、重写句子和排序,就很难知道哪一步改善了结果。要考查转写,可以把源文本作为另一份参考,按行比较。读序校验则只比每行的身份。对真实讲义,建议分别保存识别文本和应用排序结果,避免事后只剩一段拼起来的文字。

模拟器打开页面以后为什么仍无法识别?

它先展示的是预先打包的 React Native 页面和讲义资源。系统 OCR 能否初始化,要等应用请求原生模块后才能确定。实测模拟器日志记录了 SheetOcr 的创建,点击后没有拿到识别行,因此读序实验使用真机数据。若想在模拟器验证布局,可以用预先保存的纯测试数据单独做界面测试,同时把测试数据的来源写清楚。系统识别能力的验收仍要使用真实 API 的输出。

首次构建在哪里容易报错?

在 Windows 上,依赖存在于 node_modules 的目录联接目标时,Metro 要把实际目录纳入监视范围,否则会报找不到 Babel runtime。常规使用 npm ci 直接装在项目里,不必专门使用联接。本次还遇到 API 26 Windows 资源工具的 11201001,错误信息明确指向图片压缩扩展。工程中有可选构建钩子,先确认资源压缩关闭,再让工具跳过未使用的扩展配置。它只处理当前工程构建生成的文件,README 记录了触发和复测步骤。

总结

双栏讲义的问题出在读序时,反复识别同一张图片不会让左栏自动先读完。将文字和边界一起传回 React Native,同一批坐标就可以对照纵向排序和分栏排序。对这张有明确中缝的讲义,先保留跨栏标题与页尾、再读左右栏,复现了人工的 10 行顺序。字符识别仍应单独校对,其他版面也应准备自己的参考顺序。官方接口定义可查鸿蒙通用文字识别 API。编号识别框的界面参考了 Acrobat Reading Order。

完整代码

App.tsx

import React, {useState} from 'react';
import {Image, Pressable, ScrollView, StyleSheet, Text, TurboModuleRegistry, useWindowDimensions, View} from 'react-native';
const {readOrders} = require('./reading');
const worksheet = require('./worksheet.png');

type Region = {text: string; left: number; right: number; top: number; bottom: number};
type Page = {width: number; height: number; regions: Region[]};
type Ocr = {recognize(): Promise<string>};

export default function App() {
  const {width} = useWindowDimensions();
  const [page, setPage] = useState<Page>();
  const [mode, setMode] = useState<'ordered'|'baseline'>('ordered');
  const [busy, setBusy] = useState(false);
  const [error, setError] = useState('');
  const [selected, select] = useState(0);
  const wide = width >= 720;
  const paperWidth = Math.min(wide ? (width-120)*0.51 : width-48, 630);
  const scale = paperWidth / (page?.width ?? 1120);
  const lines: Region[] = page ? readOrders(page.regions, page.width)[mode] : [];
  const choose = (name: 'ordered'|'baseline') => {setMode(name); select(0);};
  const run = async () => {
    if (busy) return;
    setBusy(true); setError('');
    try {
      const module = TurboModuleRegistry.getEnforcing<any>('SheetOcr') as Ocr;
      const result = JSON.parse(await module.recognize()) as Page | { message: string };
      if ('message' in result) {
        setError(result.message);
        return;
      }
      setPage(result); select(0);
    } catch (issue) {
      setError(issue instanceof Error ? issue.message : '系统没有返回可读的识别结果');
    } finally { setBusy(false); }
  };
  return <ScrollView style={styles.screen} contentContainerStyle={styles.content}>
    <View style={styles.mast}><Text style={styles.brand}>双栏读序</Text><Text style={styles.quiet}>React Native · 鸿蒙文字识别</Text></View>
    <View style={styles.heading}><View style={styles.headingCopy}><Text style={styles.title}>一页讲义,怎么读?</Text><Text style={styles.subtitle}>从原图找出文字,再对照两种阅读顺序。</Text></View>
      <Pressable accessibilityRole="button" disabled={busy} onPress={run} style={styles.run}><Text style={styles.runText}>{busy?'识别中…':'识别讲义'}</Text></Pressable></View>
    {error.length>0 && <Text accessibilityRole="alert" style={styles.error}>{error}</Text>}
    <View style={[styles.panels, !wide && styles.stacked]}>
      <View><Text style={styles.label}>讲义原图</Text><View style={{width:paperWidth,height:1000*scale}}>
        <Image style={styles.paper} source={worksheet} resizeMode="stretch" />
        {lines.map((region,i) => <Pressable accessibilityLabel={`原图第 ${i+1} 行`} key={i} onPress={()=>select(i)} style={[styles.mark,
          {left:region.left*scale,top:region.top*scale,width:(region.right-region.left)*scale,height:(region.bottom-region.top)*scale},i===selected && styles.marked]}>
          <Text style={styles.markNumber}>{i+1}</Text></Pressable>)}
      </View></View>
      <View style={styles.result}><Text style={styles.label}>文字顺序</Text><View style={styles.tabs}>
        {([['baseline','按纵坐标'],['ordered','按列阅读']] as const).map(([key,title])=><Pressable key={key} onPress={()=>choose(key)} style={[styles.tab,key===mode&&styles.tabOn]}><Text style={styles.tabText}>{title}</Text></Pressable>)}
      </View>
      {lines.length===0 && <Text style={styles.quiet}>识别后点一行,原图会标出它的位置。</Text>}
      {lines.map((region,i)=><Pressable key={i} accessibilityRole="button" onPress={()=>select(i)} style={[styles.row,selected===i&&styles.rowOn]}><Text style={styles.number}>{String(i+1).padStart(2,'0')}</Text><Text style={styles.line}>{region.text}</Text></Pressable>)}
      </View>
    </View>
  </ScrollView>;
}
const styles=StyleSheet.create({
 screen:{flex:1,backgroundColor:'#f5f2eb'},content:{paddingHorizontal:24,paddingTop:44,paddingBottom:38,width:'100%',maxWidth:1320,alignSelf:'center'},
 mast:{flexDirection:'row',justifyContent:'space-between',alignItems:'center',height:60,borderBottomWidth:1,borderColor:'#d4ccba'},brand:{fontSize:22,fontWeight:'800',color:'#203323'},quiet:{color:'#5a6658',fontSize:13},heading:{flexDirection:'row',alignItems:'center',justifyContent:'space-between',paddingVertical:23,gap:12},headingCopy:{flexShrink:1},title:{fontSize:38,lineHeight:45,fontWeight:'800',color:'#15271b'},subtitle:{fontSize:15,color:'#596a59',marginTop:7},run:{backgroundColor:'#25543d',paddingHorizontal:18,paddingVertical:12,borderRadius:7},runText:{color:'#fff',fontWeight:'700'},error:{padding:12,color:'#932e36',marginBottom:14,backgroundColor:'#fce6de'},
 panels:{flexDirection:'row',gap:28},stacked:{flexDirection:'column'},label:{fontSize:17,fontWeight:'800',color:'#203323',marginBottom:12},paper:{width:'100%',height:'100%',borderWidth:1,borderColor:'#d1c6ab'},mark:{position:'absolute',borderWidth:1,borderColor:'#7f5ca9',backgroundColor:'#875da217'},marked:{borderWidth:2,borderColor:'#a04147',backgroundColor:'#a0414723'},markNumber:{color:'#fff',backgroundColor:'#614879',fontSize:10,position:'absolute',left:-5,top:-7,minWidth:14,textAlign:'center',borderRadius:2},
 result:{flex:1,minWidth:0},tabs:{flexDirection:'row',gap:7,marginBottom:11},tab:{borderWidth:1,borderColor:'#b9b2a3',paddingHorizontal:12,paddingVertical:8,borderRadius:5},tabOn:{backgroundColor:'#dce7d5',borderColor:'#668466'},tabText:{color:'#23392a',fontWeight:'600'},row:{flexDirection:'row',alignItems:'center',gap:10,minHeight:35,borderBottomWidth:1,borderColor:'#ded8c9',paddingHorizontal:6},rowOn:{backgroundColor:'#e5ecde'},number:{fontWeight:'800',color:'#6b4a87'},line:{color:'#223124',fontSize:14,flex:1},
});

reading.js

'use strict';

function readOrders(regions, width) {
  const byHeight = (a, b) => a.top - b.top || a.left - b.left;
  const baseline = [...regions].sort(byHeight);
  const center = width / 2;
  const gutter = width * 0.018;
  const spanning = baseline.filter(r => r.left < center - gutter && r.right > center + gutter);
  const text = baseline.filter(r => !spanning.includes(r));
  const ordered = [];
  let previous = -Infinity;
  const appendUntil = (bottom) => {
    const band = text.filter(r => r.top >= previous && r.top < bottom);
    const left = band.filter(r => (r.left + r.right) / 2 <= center);
    const right = band.filter(r => (r.left + r.right) / 2 > center);
    ordered.push(...left.sort(byHeight), ...right.sort(byHeight));
  };
  for (const region of spanning) {
    appendUntil(region.top);
    ordered.push(region);
    previous = region.top;
  }
  appendUntil(Infinity);
  return { baseline, ordered };
}

module.exports = { readOrders };

SheetPackage.ets

import { common } from '@kit.AbilityKit';
import { image } from '@kit.ImageKit';
import { textRecognition } from '@kit.CoreVisionKit';
import { hilog } from '@kit.PerformanceAnalysisKit';
import { RNPackageContext, RNOHPackage, UITurboModule, UITurboModuleContext } from '@rnoh/react-native-openharmony';

interface Region {
  text: string;
  left: number;
  right: number;
  top: number;
  bottom: number;
}

interface Failure {
  message: string;
}

interface Result {
  width: number;
  height: number;
  regions: Region[];
}

class SheetOcr extends UITurboModule {
  public static readonly NAME: string = 'SheetOcr';

  async recognize(): Promise<string> {
    if (!canIUse('SystemCapability.AI.OCR.TextRecognition') || !await textRecognition.init()) {
      const failure: Failure = { message: '当前设备未提供通用文字识别' };
      return JSON.stringify(failure);
    }
    let source: image.ImageSource | undefined;
    let map: image.PixelMap | undefined;
    try {
      const context = this.ctx.uiAbilityContext as common.UIAbilityContext;
      const content = context.resourceManager.getRawFileContentSync('worksheet.png');
      source = image.createImageSource(content.buffer as ArrayBuffer);
      map = await source.createPixelMap();
      const info = await map.getImageInfo();
      const read = await textRecognition.recognizeText({ pixelMap: map }, { isDirectionDetectionSupported: true });
      const regions: Region[] = [];
      for (const block of read.blocks) {
        for (const line of block.lines) {
          const xs = line.cornerPoints.map((point: textRecognition.PixelPoint) => point.x);
          const ys = line.cornerPoints.map((point: textRecognition.PixelPoint) => point.y);
          if (xs.length > 0 && line.value.trim()) {
            regions.push({ text: line.value, left: Math.min(...xs), right: Math.max(...xs),
              top: Math.min(...ys), bottom: Math.max(...ys) });
          }
        }
      }
      const result: Result = { width: info.size.width, height: info.size.height, regions: regions };
      hilog.info(0, 'SheetOcr', 'lines=%{public}d width=%{public}d height=%{public}d', regions.length, result.width, result.height);
      return JSON.stringify(result);
    } finally {
      if (map) await map.release();
      if (source) await source.release();
      await textRecognition.release();
    }
  }
}

export class SheetPackage extends RNOHPackage {
  constructor(ctx: RNPackageContext) { super(ctx); }

  getUITurboModuleFactoryByNameMap(): Map<string, (ctx: UITurboModuleContext) => UITurboModule | null> {
    return new Map<string, (ctx: UITurboModuleContext) => UITurboModule | null>([
      [SheetOcr.NAME, (ctx: UITurboModuleContext) => new SheetOcr(ctx)]
    ]);
  }
}

PackageProvider.ets

/**
 * Copyright (c) 2025 Huawei Technologies Co., Ltd.
 *
 * This source code is licensed under the MIT license found in the
 * LICENSE file in the root directory of this source tree.
 */

import type { RNPackageContext, RNOHPackage } from '@rnoh/react-native-openharmony';
import { createRNOHPackages as createRNOHPackagesAutolinking } from './RNOHPackagesFactory';

import { SheetPackage } from './SheetPackage';

export function getRNOHPackages(ctx: RNPackageContext): RNOHPackage[] {
  return [
    new SheetPackage(ctx),
    ...createRNOHPackagesAutolinking(ctx)
  ];
}

PackageProvider.cpp

#include "RNOH/PackageProvider.h"
#include "RNOHPackagesFactory.h"
#include "generated/RNOHGeneratedPackage.h"

using namespace rnoh;

namespace {
class SheetTurboModule : public ArkTSTurboModule {
 public:
  SheetTurboModule(Context ctx, const std::string& name) : ArkTSTurboModule(ctx, name) {
    methodMap_ = { ARK_ASYNC_METHOD_METADATA(recognize, 0) };
  }
};

class SheetFactory : public TurboModuleFactoryDelegate {
 public:
  SharedTurboModule createTurboModule(Context ctx, const std::string& name) const override {
    if (name == "SheetOcr") return std::make_shared<SheetTurboModule>(ctx, name);
    return nullptr;
  }
};

class SheetPackage : public Package {
 public:
  explicit SheetPackage(Context ctx) : Package(ctx) {}
  std::unique_ptr<TurboModuleFactoryDelegate> createTurboModuleFactoryDelegate() override {
    return std::make_unique<SheetFactory>();
  }
};
}

std::vector<std::shared_ptr<Package>> PackageProvider::getPackages(
    Package::Context ctx) {
  auto packages = createRNOHPackages(ctx); // <= autolinking
  packages.push_back(std::make_shared<RNOHGeneratedPackage>(
      ctx)); // generated by codegen-harmony v1 on app preBuilt stage)
  packages.push_back(std::make_shared<SheetPackage>(ctx));
  return packages;
}

build-profile.json5

{
  "apiType": 'stageMode',
  "buildOption": {
    "externalNativeOptions": {
      "path": "./src/main/cpp/CMakeLists.txt",
      "arguments": "", "abiFilters": ["arm64-v8a", "x86_64"],
    },
  },
  "targets": [
    {
      "name": "default",
      "runtimeOS": "HarmonyOS"
    },
    {
      "name": "ohosTest",
    }
  ]
}
Logo

讨论HarmonyOS开发技术,专注于API与组件、DevEco Studio、测试、元服务和应用上架分发等。

更多推荐