不上传图片的 OCR:本地识别是如何工作的(2026)
几乎每个 OCR 工具都说自己注重隐私。这个词不值钱。真正不廉价、也真正可核实的,是架构:像素到底会不会离开,以及代码有没有能力把它们发出去。
这一版里它们不会离开,下面是它究竟是怎么搭起来的——引擎、数据文件、清单,以及那唯一一个网络请求,它是一次下载而不是上传。
这句声明必须意味着什么
「不上传」不是一条性质,而是三条,而且它们各自独立失效:
- 能力 —— 这段代码到底能不能触达服务器?一个没有网络权限的程序,无论意图如何都泄漏不了。
- 数据路径 —— 识别究竟在哪里执行?如果它在你浏览器里的一个 worker 中运行,那图片在流水线中途就无处可去。
- 残留 —— 保留了什么、存在哪里?你复制过的文字也是数据。
一个工具可以通过这句声明的营销版本,却在三条上全部不及格。所以下面逐条来看这三条。
清单就是契约
Manifest V3 逼着扩展声明它想碰什么,浏览器会在商店页把那份清单展示给你。这是一家本地 OCR 扩展的全部清单:
| 声明项 | 它的用途 |
|---|---|
activeTab | 够到你刚操作的那个标签页。不是所有标签页,也不是悄悄地进行。 |
contextMenus | 添加启动选择器的那个右键菜单项。 |
scripting | 按需注入区域选择器的覆盖层。 |
storage + unlimitedStorage | 把裁剪后的图片交给结果窗口;保存历史和语言选择。 |
clipboardWrite | 那个「复制」按钮。 |
| 主机访问:一条 | 扩展自己的授权端点。清单里没有任何站点。 |
有两个值得细想的推论。第一,截图来自 captureVisibleTab,它是对「当前这块屏幕上的像素」的一次调用——它不是去抓取页面的图片,返回的是一个留在内存里的 data URL。第二,没有任何一条主机权限能接收那个 data URL。所以这里的隐私声明不是一句政策表态,而是代码被允许做的事里本就没有这条能力。
清单里还写了 offline_enabled,而扩展自有页面的内容安全策略是 script-src 'self' 'wasm-unsafe-eval' ——远程脚本仍然被拒绝,唯一多出来的关键词是打包引擎编译 wasm 所需的权限;正是这一点逼着引擎必须打包进来,而不是从 CDN 加载。
引擎就住在扩展里面
识别用的是 Tesseract.js:就是那个跑在服务器端 OCR 流水线里的同一款 LSTM 引擎,被编译成 WebAssembly,好在你的浏览器进程里运行。
- 库、worker 脚本和编译好的核心——CPU 支持时是 SIMD 版本,不支持时是普通版本——在构建时被拷进扩展包,并从
chrome-extension://URL 加载。 - 识别本身跑在扩展自有的结果窗口里,而不是在你抓取的那个页面里。页面的脚本从来看不到那张图片,图片也从来看不到页面的源。
- 进度通过一个只驱动进度条的日志回调返回;没有任何中间结果可被外泄。
这换来的是你在小区域上能感觉到的速度,以及在飞机上也能用的工具。代价是冷启动时间:解包一个 WebAssembly 核心和一个语言模型比一台热着的服务器要慢,这就是整页抓取会顿一下、而一次云端调用不会的原因。
两种语言随包发货,七种要下载
语言数据是沉重的那部分,也是唯一一个按设计就存在网络请求的地方。
- 内置、免费、永远离线:英文和简体中文。它们的压缩数据文件就在包里,用的是公共 CDN 所提供的同一档模型。
- 属于授权:繁体中文、日语、韩语、俄语、法语、德语和西班牙语。第一次选择某个语言,会从公共的 Tesseract 数据仓库取回那个语言的数据包并缓存下来。
把这个取回是什么说准确。它是一次针对模型文件的 GET 请求。你的抓取内容不在里面,也不可能进得去,而且没有任何主机权限能让它进得去。这也是 Pro 语言清单并非开箱即「完全离线」的原因——离线从第一次下载之后才开始,而不是之前。
一次抓取的旅程
从头到尾,把网络也纳入画面:
- 你点工具栏按钮或选择菜单项;覆盖层被注入到你操作的那个标签页。
- 你拖出一个框。这个矩形纯粹是页面坐标——此时还没有取任何图片。
- 可见标签页被抓取成 PNG。这是一次浏览器内部的调用,不是下载。
- 矩形在后台 worker 里用一个离屏 canvas 被裁剪,缩放比例取自截图位图与视口之比——HiDPI 和页面缩放因此都对得上,
devicePixelRatio只在视口信息缺失时兜底。全是对你本来就拥有的像素做本地运算。 - 结果窗口打开,加载内置核心和内置数据文件,然后识别。没有任何请求。
- 文字出现在一个可编辑框里。复制把它写进你的剪贴板;做这件事不需要往任何地方发送任何东西。
第 1–6 步的请求数:对一个内置语言来说是零。这就是这篇文章余下部分要讲的那个性质。
文字存在哪里
有两样东西会被写进磁盘,两者都存在浏览器为这个扩展自有的本地存储区里:
- 历史 —— 每次成功的识别都插到列表最前,免费版上限 10 条、授权版 200 条,每条最多容纳 20,000 个识别出的字符。清空它是一个按钮,不是一张工单。
- 设置与计数 —— 所选语言,以及当天的使用次数。
没有账号,所以也没有可建立的画像。裁剪后的图片本身通过 storage 交接,只为打开结果窗口这一个步骤,读取后即被消费掉;它不是一个存档。
唯一真正离开的那个请求
网络只为一个目的存在:授权校验。打开一个页面会问授权端点,那个存下来的密钥是否仍然有效,而就连这一步也被限流——在两小时的窗口内用的是缓存答案,不发请求。没有密钥就意味着零请求,这就是免费路径并没有悄悄往家里打电话的原因。
如果端点不可达、而之前缓存过一张授权,扩展会继续工作,而不是把你锁在外面;当天的额度计数之所以刻意放在本地,也是同样的道理。这是每个离线优先工具都做的取舍:限制变成了靠自觉而非强制,而作为交换,这个工具打开一张截图不再依赖某家公司的在线率。
如何核查任何一个 OCR 工具
同样这三个问题适用于任何扩展,无论是不是我们的:
- 读商店页上的权限栏。 针对「
all sites」的主机访问,或者某个第三方 API 域名,会在你安装之前就告诉你它的架构。 - 拔了网线。 关掉 Wi-Fi 去识别点东西。出文字就说明是本地;出一个错误页就说明中间有一台服务器。
- 问它保留了什么。 在扩展自有的界面里找历史列表和清除按钮。如果历史只有登录后才看得见,那它就在别人的磁盘上,不在你的。
留一句提醒,免得把话说满:本地意味着这台机器还得是你自己的。一个装了端点代理的受管工作浏览器,或者把浏览器扩展和一个截图同步工具搭配起来,就会把整个局面彻底改变——OCR 在本地,并不能说明还有别的东西没在盯着这块屏幕。
FAQ
浏览器扩展里的 OCR 到底需不需要联网?
两个内置语言不需要。引擎、它的 WebAssembly 核心以及英文和简体中文的数据文件都在扩展内部打包,所以拔了网线识别也能完成。非内置语言在你第一次选择它时,需要下载一次它的数据包。
我能自己核实没有任何东西被上传吗?
能,有两个办法。在浏览器里打开这个扩展的详情页,读它的权限和主机访问:任何能把你的图片发出去的东西,都必须作为一条主机权限出现在那里。然后断网跑一次识别。如果还能返回文字,那读取就是在本地发生的。
为什么免费档的每日计数存在我这台机器上,而不是服务器上?
服务器端的计数器会在网络不可用时把你锁在外面,这跟离线的承诺自相矛盾。选本地的代价是:这个限制是一条基于诚信使用的边界,而不是一道硬防线;而且计数按你自己的日历日重置,不按 UTC 零点。
WebAssembly 的 OCR 有云服务那么好吗?
对干净的真实排版截图,两者很接近,因为它们用的是同一类 LSTM 模型和同一份公开训练数据。在带透视畸变的照片、手写体,以及整页文档的版面分析上,云服务会领先。屏幕截图是最容易的情形,这就是本地引擎在这里是笔划算交易的原因。
更多指南见 VKT 博客;问题反馈:[email protected]。
