React Native 接入鸿蒙 OCR:双栏讲义怎么读才不串行?
开源鸿蒙跨平台开发者社区 · React Native for OpenHarmony
前言
「左一 清晨核对温度」后面,原本该接「左二 Read the sensor」。我把真机识别出来的十行按纵坐标排了一遍,第三行却是「右一 复查湿度曲线」。再往下,右二跑到左二前面。左栏写的是巡检步骤,右栏写的是复核事项,交错起来就成了一份看似完整、读起来不断跳步的记录。
本例用 React Native 做了一张对照台,左侧保留扫描样张和识别框,右侧可以切换「按纵坐标」和「按列阅读」。两种视图读取的是鸿蒙 OCR 返回的同一组数据。每次点一条结果,原图里的位置也跟着高亮,便于逐行检查。
按第三行定位错序
这轮识别得到十行。在按纵坐标排序的模式下,第三行是「右一 复查湿度曲线」。按讲义的阅读顺序,第三行应是「左二 Read the sensor」。两个列表开头同是标题和左一,差别就在第三行。右二甚至跑到了左二前面,因为系统给右二的框顶略高。两行看上去齐平,并不代表它们的坐标相同。

MatePad Edge 真机全屏:按纵坐标时左右栏交替 · 查看原件

MatePad Edge 真机全屏:按列阅读时先读左栏,再读右栏 · 查看原件

MatePad Edge 真机全屏:切换顺序和点选原图中的识别框 · 查看原件
真机演示:双栏讲义按列阅读
MatePad Edge 实机操作 · 查看原件
手工参考顺序在试验之前固定下来:跨栏标题,左一到左四,右一到右四,最后是跨栏页尾。只数返回行数,两种排序都是 10。需要用每个位置上的行身份做对照,才能看出变化。为免把识别错误混进顺序结果,本次根据「左一」等短标签确定行身份,原始识别文本也照样保留。右二的原文是 Compare the logs,识别结果为 compare the logs,排序不会也不应该替 OCR 把首字母修回去。
| 方式 | 读序 | 与人工参考同位置 |
|---|---|---|
| 人工参考 | 标题、左一、左二、左三、左四、右一、右二、右三、右四、页尾 | 10 / 10 |
| 纵坐标排序 | 标题、左一、右一、右二、左二、左三、右三、左四、右四、页尾 | 4 / 10 |
| 划分栏位后排序 | 标题、左一、左二、左三、左四、右一、右二、右三、右四、页尾 | 10 / 10 |
这组数值是单张固定讲义上的行位置比较。换一种版面,规则可能适用,也可能需要换一种列边界检测。横向比较两种排列的时候,图片、设备和系统识别结果都相同,这样差异只能来自本例对坐标的处理。
复查时先别纠正英文大小写。把原行框和原字串一起留下,之后才能判断改进的是排序还是识别文字。
原图上的行框
SheetPackage.ets 通过资源管理器读取同一张 1120×1000 PNG,由 ImageSource 解码成 PixelMap,再交给 textRecognition.recognizeText。遍历识别出的块和行,每行保留原始文字和四边范围。系统接口给了角点,这里只取横纵坐标的最小与最大,得到可以在原图上画出的矩形。采集宽高来自实际解码图片,避免前端按屏幕大小误解释识别坐标。
方框与文字一起返回 React Native。有些接入只把识别后的全文传到页面,再按换行符拆分。对固定的单栏笔记也许够用,但丢了坐标以后,页面只能猜每一行属于哪一栏。定位、点选、去掉页眉这类操作也都要重新获取版面信息。因此这个示例保留行文本和范围,渲染列表时再用选中的规则。完整结果用 JSON 字符串过桥,界面解析后才根据需要计算排序。复制字符这件事与重新选择读序可以独立操作。

VS Code 实际工程:读取系统行角点并转成矩形 · 查看原件
原生桥有两侧注册。ArkTS 把实现挂到 SheetOcr,C++ 侧注册同名模块并声明 recognize 返回异步结果。React Native 从 TurboModuleRegistry 取模块。界面已经能启动、按钮也能按,并不能说明桥已接好。排查时可以分开检查:先看两侧名字,再看调用有没有进入 recognize,随后才检查 OCR 能力和图片解码。模拟器这次能打开页面,而且日志记录了模块创建;识别没有拿到真机那样的行数据。
原图与预览是同一素材,但两者尺寸的单位不同。API 回来的框是原图像素,页面按显示宽度与原图宽度的比值同时缩放横纵坐标。讲义以原始宽高比展示,因此可以用同一缩放比例。若产品把图片裁切成封面或居中留边,还要加上实际内容在容器中的偏移。否则列表点中的是正确行,原图却会高亮到邻近内容,用户容易以为 OCR 把另一行认进来了。
标题、左栏、右栏、页尾
先按纵坐标排一份,作为比较起点。按列处理时,先找横跨中央留白的文本行,把它们留在单独的位置。剩下的行按中心点分左右两栏。标题和页尾把页面分成了几个纵向区间,每个区间先读左边再读右边,再插入下一个横跨的文本行。在这张讲义上,主区间只有一个,正好先走左四行,再走右四行。保留区间步骤是为了将来放入一条横跨两栏的中段小标题时,还能重新验证前后区域是否按预期读。

VS Code 实际工程:中缝、跨栏行及每段左右栏排序 · 查看原件
用中缝的前提是版面本来就对称,而且每行单独的识别框没有跨到另一侧。手机拍歪了之后,中缝在图中的位置可能随高度偏移,单一竖线就不好使;左右栏宽度差得大时,应该从每一列文本的分布推断中缝。有的段落会出现占满半边的长标题,在宽屏图上看起来比另一列长,长度本身不足以确定它是否跨栏。把跨栏条件写成“框从中缝一侧跨过留白到另一侧”,至少说明了这次判断依赖什么。表格、引文或多栏新闻版可以另外建立样张,不适合直接将双栏结果当通用能力。
本例的页头与页尾都故意比中缝更长。如果某张讲义把短标题写在左上但语义上仍横跨两栏,几何规则可能把它归入左栏;这不是当前样张的测试条件。实际应用可以将已知版面区域随模板提供,或让用户从页面上校正分区。这些都比在复制文本后强行移动第一行更容易验证,因为可以在原图上看到规则选中了哪块区域。
看一次坐标怎么改变结果
取这张讲义左侧第二行和右侧第一行作为例子。两行都属于正文区域,谁在前取决于排序时的第一关键字。按纵坐标排,两行各自的横向位置要等到纵坐标恰好相同时才参与比较。两栏文字间距相近,一侧正文稍微靠上,下一条结果就可能跳到那一侧。读到第三行时看到右栏内容,基准排序其实遵守了自己的比较规则。将行归入左右栏之后,栏位才成为这组行的首要约束,同一栏内部继续按纵坐标读。于是左侧第二行稳定地排在右侧第一行之前。
归栏时取行框的左右中点,和图像中心比较。字号和字数会影响行框的宽度,使用中点可以让较长或较短的左栏行落到同一组,但也有临界情形。比如一段跨过中央的长引文,只靠中点就会被划到某一侧。代码在归栏前先判断它是否从中央留白的一边延伸到另一边,因此把讲义的页头和页尾保留下来。先做跨栏判断,再按栏分组,读完正文后才能回到页尾。把这两步颠倒,页尾的中心落到哪边就可能跟着哪边读。
中缝容差以原图宽度的比例计算。目的在于放宽中心附近的判断,避免某一行边缘贴近中央就被当成跨栏。示例按图宽乘 0.018 设置半边间距,并没有寻找纸张上真实的列间空带。同一张图用不同显示宽度时,排序仍然使用原图坐标,所以画面横竖切换不会让中缝在逻辑上移动。以后要做旋转或自动裁边,宜先在确定的图像坐标系里完成识别和排序,最后再将框变换到看图区域。若一个环节使用裁图宽度,另一个用未裁原图宽度,光看列表往往发现不了错位。
示例先按行框把区域排好,再从跨栏行位置划分区间。它可以解释为什么没有直接把左侧全部放到右侧前面。比如中段有跨栏小标题,上半部分的右栏应该在小标题之前,下半部分的左栏却在小标题之后。如果把所有左栏提前,读到小标题时上下段就会乱。当前真机样张只有页头与页尾,已经能验证一个区间。加入中段标题之前可以先准备一张人工参考顺序,按照上段左、上段右、标题、下段左、下段右标出期望,再找错位从哪一行开始。这比选一张复杂讲义看整个页面“是否大致对”更容易定位。
人工参考怎么做
编写样张时,每个正文行有一个可辨认的标识,例如「左二」或「右三」。人工只需要提前记录这些标识的排列。原字串仍然保留,后续可以单独检查字符。之所以选择这个办法,是因为字符错误和顺序错误的评分逻辑不同。右二大小写识别有差异,它仍然是右二。按整行字符串完全相等计算,虽然更严格,却会把这条已经排对的行也算成错位。反过来,如果 OCR 把两行合并,锚点就无法可靠用来标识单行,测试应该另外报告“行被合并”,不能在计算读序时任意拆开。
用 Python 3 对保存的两份行序列计数,人工预先标出的行序作为基准。输入来自 MatePad Edge 上同一次 OCR 返回的 10 个行框,图片、设备和识别结果相同,两种方案只改变排序规则。
| 读序指标 | 按纵坐标 | 先分栏再排序 | 计数方法 |
|---|---|---|---|
| 同位置行数 | 4 / 10 | 10 / 10 | 逐位置核对行标签 |
| 前后关系正确的行对 | 38 / 45 | 45 / 45 | 任取两行,检查相对前后 |
| 连续读对的相邻行对 | 4 / 9 | 9 / 9 | 逐对检查参考顺序中的相邻行是否仍按同一方向紧邻 |
例如,纵坐标方案中的「左二」和「左三」仍然前后相邻,但两行都偏离了参考位置。相邻行对能看出连续阅读有没有被打断,同位置行数则能找出从第几行开始走错。这三项都只衡量当前样张的读序,不衡量字符识别准确率,也不用于推算耗时。
需要注意,证据截图里的编号会随排序规则重新分配,它表示现在第几项,不是原生 OCR 行的永久标识。点击两种排序里的第三项,预期高亮的文本不同。核对时留意两条信息,一是列表中的文字身份,二是框在样张上的落点。这样可以捕捉一种单看截图不容易注意的问题:列表确实重新排序了,点击详情还在使用排序前的数组索引。因为标签和高亮跟着结果一起显示,左右栏交错的错误可以在页面上直接读出来。
把这步放进日常复测,只需要一页固定样张和一份人工读序。先生成基准列表,再生成调整后的列表,输出两份行身份,最后用同一份人工表比较。替换底图之前先核对图像尺寸与身份标签。栏目分隔一旦改变,以前那套人工参考也要重新确定。这里所说的“调整前后”始终是同一套识别输出走两条排序路径,不能拿两次拍照、两次识别出来的数据衡量排序本身。
坐标与界面分开验收
缩放预览时,页面先通过容器宽度确定显示比例,将原图坐标换到容器中再画边框。测试可以先点标题,检查框有没有横跨中线。再点左栏靠下的一项,观察框会不会同时偏到右下。若一组框越靠边就偏得越多,通常要优先怀疑缩放比例。若所有框统一偏移一段,可能是容器内存在留边。比如使用 contain 布局时,图像占用的矩形与布局节点的矩形不总是重合,应该先定位真正绘图的上下边界,再换算识别结果。
同一页有两片可滚动区域时,点条目后若原图还在旧位置,光亮一个框不太容易找到。示例的整张讲义在左侧保留完整预览,右边用一列可点击的结果来复查,不需要用户从另一个页面找原图。真实工作台如果要放大图像,可以提供点击行跳到对应区域,或者保持最后一个位置。加上搜索和复制后也需要规定,复制的是排序后的整页还是当前筛选结果。将“识别数据”“当前视图顺序”和“选中行”分别管理,排序切换时就能明确选择是否保留同一行。
模拟器现在能画出页面和原图,点识别后的明确反馈是设备未提供通用文字识别。这说明界面以及部分桥接能够验证,而系统返回的框只能来自运行时确实提供能力的设备。排查时先确认界面带着同一份底图启动,再点识别记录原生返回。如果没有任何反馈,检查 Bundle、原生模块名和桥接声明;如果反馈不支持,检查系统能力和原生初始化。出现正确的业务错误提示有其验证价值,但真机的文字、行框和行序证据不能被那张提示图替代。
下一张样张怎么选
比起再找一张同样整齐的对称讲义,下一页更值得选择三种能暴露边界的结构。第一种在两栏中间加一条跨栏小标题,检验分段是否生效。第二种左栏宽、右栏窄,检查固定中心线是否失效。第三种让表格占据一个区间,明确测试规则是逐列读、逐行读,还是应保留表格原有结构。给样张先写期望、再跑识别,避免看了结果以后倒过来调整“正确顺序”。
还有一种边界是左栏和右栏之间恰好有较长的标题和脚注。当 OCR 把脚注合成两行,可能一行跨中缝,另一行只在左侧。此时逐行几何规则会把同一段脚注拆入两个区域。上线版可以先识别同一段落的多行文本,用段落框归类,或允许人工合并。无论用哪个策略,输出要保留能回看原图位置的坐标。语义重排有时会提升通顺度,但对需要核验原件的应用,用户还应能回到原来的每一行。本文验证以能逐行定位的简单讲义为范围。
选版面还得看产品目的。辅助朗读更关心长段的连续性,复制表格更关心行列结构,说明文档复核则更关心能否逐条返回原图。三者共用 OCR,也可能需要不同的读序约定。版面处理可以给调用方提供显式选项,把适用条件写入用户可理解的界面名。当前按钮叫「按纵坐标」与「按列阅读」,便于读者自己看见两条规则。它没有自由探索图像里任意位置的专业排版能力,示例中得出的十行结果只对这页固定素材负责。
保存一份可以追查的结果
调试日志中可以记录图片尺寸、识别到的行数、跨栏数量和排序模式。对这张公开测试讲义,保存完整框和字串便于复现。如果后来处理的是用户上传文档,建议默认只保留这些计数、错误类别和请求编号。看图时确有必要比较坐标的,可以在明确同意和限定范围下启用诊断。排障先看原生拿到多少行,再看桥后还剩多少行,最后看排序列表包含多少项,在哪一步减少就优先查那一段。页面没有显示任何行,有可能是系统返回了零行,也有可能是能力检查没通过,应该用不同提示表达。
若接入前端代码想先单测规则,准备几组很小的坐标对象即可。定好宽度和框的坐标后,让左右各一行处在同样的纵坐标。再向上移动右栏那条坐标,纵向排序的首项应该变化,按列排序仍然先左后右。最后加一条横跨两侧留白的中段标题,看后面的文字是否进入下一个区间。因为这个函数不负责识别字,也不负责画图,这种小测试可以快速定位修改是否影响过多。真机复测则继续使用系统的原始返回,确认坐标结构和真实图像能对上。
验证环境
| 项目 | 型号或版本 | 验证范围 |
|---|---|---|
| 真机 | 华为 MatePad Edge(QXS-W00),HarmonyOS 7.0.0.111(SP16C00E111R6P5),API 26,ARM64 | 系统 OCR 返回 10 行,两种排序与点选高亮 |
| 模拟器 | MatePad Pro 13 平板镜像(PADEMU-FD00),DevEco Emulator 26.0.0.402,HarmonyOS 7.0.0.107(SP8DEVC00E16R1P1),API 26,x86_64 | RN 页面可用,模块已创建,识别未获得行数据 |
| 构建 | DevEco Studio 6.1.1.300,SDK 26.0.0.105,命令行工具 26.0.0.865,JDK 21 | 编译并打包 ARM64 和 x86_64 |
| 框架 | React Native 0.84.1,RNOH 与 Harmony CLI 0.84.4 | TurboModule、本地 JS Bundle、React Native 对照台 |

真机设置中的「关于本机」 · 查看原件

模拟器设置中的「关于本机」 · 查看原件

DevEco Studio 原生版本窗口 · 查看原件

API 26 模拟器全屏:启动后的 React Native 阅读对照台 · 查看原件

API 26 模拟器全屏:原生模块返回当前设备未提供通用文字识别 · 查看原件
FAQ
为什么按纵坐标以后左一和右一交替?
左右栏共用同一个高度范围。基准规则把框的顶部放进同一条纵轴,正常运行也会产生交错。这是基准的限制。要确认它没把某一行位置比较错,可以打开原图的识别框,逐一点击第三、第四行,看高亮落在左侧还是右侧。框位置正确、顺序不符合阅读时,才该改版面排列规则。
为什么列表里英文的大小写和讲义不完全一样?
识别输出和排序是两项独立的检查。案例里右二出现小写 compare,字符错误如实保留。若同时自动改大小写、重写句子和排序,就很难知道哪一步改善了结果。要考查转写,可以把源文本作为另一份参考,按行比较。读序校验则只比每行的身份。对真实讲义,建议分别保存识别文本和应用排序结果,避免事后只剩一段拼起来的文字。
模拟器打开页面以后为什么仍无法识别?
它先展示的是预先打包的 React Native 页面和讲义资源。系统 OCR 能否初始化,要等应用请求原生模块后才能确定。实测模拟器日志记录了 SheetOcr 的创建,点击后没有拿到识别行,因此读序实验使用真机数据。若想在模拟器验证布局,可以用预先保存的纯测试数据单独做界面测试,同时把测试数据的来源写清楚。系统识别能力的验收仍要使用真实 API 的输出。
首次构建在哪里容易报错?
在 Windows 上,依赖存在于 node_modules 的目录联接目标时,Metro 要把实际目录纳入监视范围,否则会报找不到 Babel runtime。常规使用 npm ci 直接装在项目里,不必专门使用联接。本次还遇到 API 26 Windows 资源工具的 11201001,错误信息明确指向图片压缩扩展。工程中有可选构建钩子,先确认资源压缩关闭,再让工具跳过未使用的扩展配置。它只处理当前工程构建生成的文件,README 记录了触发和复测步骤。
总结
双栏讲义的问题出在读序时,反复识别同一张图片不会让左栏自动先读完。将文字和边界一起传回 React Native,同一批坐标就可以对照纵向排序和分栏排序。对这张有明确中缝的讲义,先保留跨栏标题与页尾、再读左右栏,复现了人工的 10 行顺序。字符识别仍应单独校对,其他版面也应准备自己的参考顺序。官方接口定义可查鸿蒙通用文字识别 API。编号识别框的界面参考了 Acrobat Reading Order。
完整代码
App.tsx
import React, {useState} from 'react';
import {Image, Pressable, ScrollView, StyleSheet, Text, TurboModuleRegistry, useWindowDimensions, View} from 'react-native';
const {readOrders} = require('./reading');
const worksheet = require('./worksheet.png');
type Region = {text: string; left: number; right: number; top: number; bottom: number};
type Page = {width: number; height: number; regions: Region[]};
type Ocr = {recognize(): Promise<string>};
export default function App() {
const {width} = useWindowDimensions();
const [page, setPage] = useState<Page>();
const [mode, setMode] = useState<'ordered'|'baseline'>('ordered');
const [busy, setBusy] = useState(false);
const [error, setError] = useState('');
const [selected, select] = useState(0);
const wide = width >= 720;
const paperWidth = Math.min(wide ? (width-120)*0.51 : width-48, 630);
const scale = paperWidth / (page?.width ?? 1120);
const lines: Region[] = page ? readOrders(page.regions, page.width)[mode] : [];
const choose = (name: 'ordered'|'baseline') => {setMode(name); select(0);};
const run = async () => {
if (busy) return;
setBusy(true); setError('');
try {
const module = TurboModuleRegistry.getEnforcing<any>('SheetOcr') as Ocr;
const result = JSON.parse(await module.recognize()) as Page | { message: string };
if ('message' in result) {
setError(result.message);
return;
}
setPage(result); select(0);
} catch (issue) {
setError(issue instanceof Error ? issue.message : '系统没有返回可读的识别结果');
} finally { setBusy(false); }
};
return <ScrollView style={styles.screen} contentContainerStyle={styles.content}>
<View style={styles.mast}><Text style={styles.brand}>双栏读序</Text><Text style={styles.quiet}>React Native · 鸿蒙文字识别</Text></View>
<View style={styles.heading}><View style={styles.headingCopy}><Text style={styles.title}>一页讲义,怎么读?</Text><Text style={styles.subtitle}>从原图找出文字,再对照两种阅读顺序。</Text></View>
<Pressable accessibilityRole="button" disabled={busy} onPress={run} style={styles.run}><Text style={styles.runText}>{busy?'识别中…':'识别讲义'}</Text></Pressable></View>
{error.length>0 && <Text accessibilityRole="alert" style={styles.error}>{error}</Text>}
<View style={[styles.panels, !wide && styles.stacked]}>
<View><Text style={styles.label}>讲义原图</Text><View style={{width:paperWidth,height:1000*scale}}>
<Image style={styles.paper} source={worksheet} resizeMode="stretch" />
{lines.map((region,i) => <Pressable accessibilityLabel={`原图第 ${i+1} 行`} key={i} onPress={()=>select(i)} style={[styles.mark,
{left:region.left*scale,top:region.top*scale,width:(region.right-region.left)*scale,height:(region.bottom-region.top)*scale},i===selected && styles.marked]}>
<Text style={styles.markNumber}>{i+1}</Text></Pressable>)}
</View></View>
<View style={styles.result}><Text style={styles.label}>文字顺序</Text><View style={styles.tabs}>
{([['baseline','按纵坐标'],['ordered','按列阅读']] as const).map(([key,title])=><Pressable key={key} onPress={()=>choose(key)} style={[styles.tab,key===mode&&styles.tabOn]}><Text style={styles.tabText}>{title}</Text></Pressable>)}
</View>
{lines.length===0 && <Text style={styles.quiet}>识别后点一行,原图会标出它的位置。</Text>}
{lines.map((region,i)=><Pressable key={i} accessibilityRole="button" onPress={()=>select(i)} style={[styles.row,selected===i&&styles.rowOn]}><Text style={styles.number}>{String(i+1).padStart(2,'0')}</Text><Text style={styles.line}>{region.text}</Text></Pressable>)}
</View>
</View>
</ScrollView>;
}
const styles=StyleSheet.create({
screen:{flex:1,backgroundColor:'#f5f2eb'},content:{paddingHorizontal:24,paddingTop:44,paddingBottom:38,width:'100%',maxWidth:1320,alignSelf:'center'},
mast:{flexDirection:'row',justifyContent:'space-between',alignItems:'center',height:60,borderBottomWidth:1,borderColor:'#d4ccba'},brand:{fontSize:22,fontWeight:'800',color:'#203323'},quiet:{color:'#5a6658',fontSize:13},heading:{flexDirection:'row',alignItems:'center',justifyContent:'space-between',paddingVertical:23,gap:12},headingCopy:{flexShrink:1},title:{fontSize:38,lineHeight:45,fontWeight:'800',color:'#15271b'},subtitle:{fontSize:15,color:'#596a59',marginTop:7},run:{backgroundColor:'#25543d',paddingHorizontal:18,paddingVertical:12,borderRadius:7},runText:{color:'#fff',fontWeight:'700'},error:{padding:12,color:'#932e36',marginBottom:14,backgroundColor:'#fce6de'},
panels:{flexDirection:'row',gap:28},stacked:{flexDirection:'column'},label:{fontSize:17,fontWeight:'800',color:'#203323',marginBottom:12},paper:{width:'100%',height:'100%',borderWidth:1,borderColor:'#d1c6ab'},mark:{position:'absolute',borderWidth:1,borderColor:'#7f5ca9',backgroundColor:'#875da217'},marked:{borderWidth:2,borderColor:'#a04147',backgroundColor:'#a0414723'},markNumber:{color:'#fff',backgroundColor:'#614879',fontSize:10,position:'absolute',left:-5,top:-7,minWidth:14,textAlign:'center',borderRadius:2},
result:{flex:1,minWidth:0},tabs:{flexDirection:'row',gap:7,marginBottom:11},tab:{borderWidth:1,borderColor:'#b9b2a3',paddingHorizontal:12,paddingVertical:8,borderRadius:5},tabOn:{backgroundColor:'#dce7d5',borderColor:'#668466'},tabText:{color:'#23392a',fontWeight:'600'},row:{flexDirection:'row',alignItems:'center',gap:10,minHeight:35,borderBottomWidth:1,borderColor:'#ded8c9',paddingHorizontal:6},rowOn:{backgroundColor:'#e5ecde'},number:{fontWeight:'800',color:'#6b4a87'},line:{color:'#223124',fontSize:14,flex:1},
});
reading.js
'use strict';
function readOrders(regions, width) {
const byHeight = (a, b) => a.top - b.top || a.left - b.left;
const baseline = [...regions].sort(byHeight);
const center = width / 2;
const gutter = width * 0.018;
const spanning = baseline.filter(r => r.left < center - gutter && r.right > center + gutter);
const text = baseline.filter(r => !spanning.includes(r));
const ordered = [];
let previous = -Infinity;
const appendUntil = (bottom) => {
const band = text.filter(r => r.top >= previous && r.top < bottom);
const left = band.filter(r => (r.left + r.right) / 2 <= center);
const right = band.filter(r => (r.left + r.right) / 2 > center);
ordered.push(...left.sort(byHeight), ...right.sort(byHeight));
};
for (const region of spanning) {
appendUntil(region.top);
ordered.push(region);
previous = region.top;
}
appendUntil(Infinity);
return { baseline, ordered };
}
module.exports = { readOrders };
SheetPackage.ets
import { common } from '@kit.AbilityKit';
import { image } from '@kit.ImageKit';
import { textRecognition } from '@kit.CoreVisionKit';
import { hilog } from '@kit.PerformanceAnalysisKit';
import { RNPackageContext, RNOHPackage, UITurboModule, UITurboModuleContext } from '@rnoh/react-native-openharmony';
interface Region {
text: string;
left: number;
right: number;
top: number;
bottom: number;
}
interface Failure {
message: string;
}
interface Result {
width: number;
height: number;
regions: Region[];
}
class SheetOcr extends UITurboModule {
public static readonly NAME: string = 'SheetOcr';
async recognize(): Promise<string> {
if (!canIUse('SystemCapability.AI.OCR.TextRecognition') || !await textRecognition.init()) {
const failure: Failure = { message: '当前设备未提供通用文字识别' };
return JSON.stringify(failure);
}
let source: image.ImageSource | undefined;
let map: image.PixelMap | undefined;
try {
const context = this.ctx.uiAbilityContext as common.UIAbilityContext;
const content = context.resourceManager.getRawFileContentSync('worksheet.png');
source = image.createImageSource(content.buffer as ArrayBuffer);
map = await source.createPixelMap();
const info = await map.getImageInfo();
const read = await textRecognition.recognizeText({ pixelMap: map }, { isDirectionDetectionSupported: true });
const regions: Region[] = [];
for (const block of read.blocks) {
for (const line of block.lines) {
const xs = line.cornerPoints.map((point: textRecognition.PixelPoint) => point.x);
const ys = line.cornerPoints.map((point: textRecognition.PixelPoint) => point.y);
if (xs.length > 0 && line.value.trim()) {
regions.push({ text: line.value, left: Math.min(...xs), right: Math.max(...xs),
top: Math.min(...ys), bottom: Math.max(...ys) });
}
}
}
const result: Result = { width: info.size.width, height: info.size.height, regions: regions };
hilog.info(0, 'SheetOcr', 'lines=%{public}d width=%{public}d height=%{public}d', regions.length, result.width, result.height);
return JSON.stringify(result);
} finally {
if (map) await map.release();
if (source) await source.release();
await textRecognition.release();
}
}
}
export class SheetPackage extends RNOHPackage {
constructor(ctx: RNPackageContext) { super(ctx); }
getUITurboModuleFactoryByNameMap(): Map<string, (ctx: UITurboModuleContext) => UITurboModule | null> {
return new Map<string, (ctx: UITurboModuleContext) => UITurboModule | null>([
[SheetOcr.NAME, (ctx: UITurboModuleContext) => new SheetOcr(ctx)]
]);
}
}
PackageProvider.ets
/**
* Copyright (c) 2025 Huawei Technologies Co., Ltd.
*
* This source code is licensed under the MIT license found in the
* LICENSE file in the root directory of this source tree.
*/
import type { RNPackageContext, RNOHPackage } from '@rnoh/react-native-openharmony';
import { createRNOHPackages as createRNOHPackagesAutolinking } from './RNOHPackagesFactory';
import { SheetPackage } from './SheetPackage';
export function getRNOHPackages(ctx: RNPackageContext): RNOHPackage[] {
return [
new SheetPackage(ctx),
...createRNOHPackagesAutolinking(ctx)
];
}
PackageProvider.cpp
#include "RNOH/PackageProvider.h"
#include "RNOHPackagesFactory.h"
#include "generated/RNOHGeneratedPackage.h"
using namespace rnoh;
namespace {
class SheetTurboModule : public ArkTSTurboModule {
public:
SheetTurboModule(Context ctx, const std::string& name) : ArkTSTurboModule(ctx, name) {
methodMap_ = { ARK_ASYNC_METHOD_METADATA(recognize, 0) };
}
};
class SheetFactory : public TurboModuleFactoryDelegate {
public:
SharedTurboModule createTurboModule(Context ctx, const std::string& name) const override {
if (name == "SheetOcr") return std::make_shared<SheetTurboModule>(ctx, name);
return nullptr;
}
};
class SheetPackage : public Package {
public:
explicit SheetPackage(Context ctx) : Package(ctx) {}
std::unique_ptr<TurboModuleFactoryDelegate> createTurboModuleFactoryDelegate() override {
return std::make_unique<SheetFactory>();
}
};
}
std::vector<std::shared_ptr<Package>> PackageProvider::getPackages(
Package::Context ctx) {
auto packages = createRNOHPackages(ctx); // <= autolinking
packages.push_back(std::make_shared<RNOHGeneratedPackage>(
ctx)); // generated by codegen-harmony v1 on app preBuilt stage)
packages.push_back(std::make_shared<SheetPackage>(ctx));
return packages;
}
build-profile.json5
{
"apiType": 'stageMode',
"buildOption": {
"externalNativeOptions": {
"path": "./src/main/cpp/CMakeLists.txt",
"arguments": "", "abiFilters": ["arm64-v8a", "x86_64"],
},
},
"targets": [
{
"name": "default",
"runtimeOS": "HarmonyOS"
},
{
"name": "ohosTest",
}
]
}
更多推荐


所有评论(0)