Umi-OCR AI OCR 插件

🚀 项目简介

本插件为 Umi-OCR 提供 25+ 主流AI服务商 的OCR功能，支持云端和本地AI服务的视觉识别API。作为离线OCR的强力补充，为用户提供更高精度、更广泛语言支持的智能文字识别服务。

📋 关于 Umi-OCR

Umi-OCR 是一款免费、开源、可批量的离线OCR软件，基于 PaddleOCR 开发。它具有以下特点：

• 🆓 完全免费：无需付费，无广告，开源软件
• 📱 界面友好：现代化的图形界面，操作简单直观
• 🔄 批量处理：支持批量图片OCR，提高工作效率
• 🌐 多语言支持：支持中文、英文、日文、韩文等多种语言
• 🔌 插件系统：支持扩展插件，功能可定制
• 💻 跨平台：支持Windows、Linux等操作系统

🌟 支持的 AI 服务商

🌐 云端服务商

服务商	建议模型	特点
硅基流动 (SiliconFlow)	Qwen/Qwen3-VL-235B-A22B-Instruct （强烈推荐,已下线）或 PaddlePaddle/PaddleOCR-VL-1.6	开源模型多，价格低，速度快，中文识别准确率超高，强烈推荐
阿里云百炼 (Alibaba)	Qwen/Qwen3-VL-235B-A22B-Instruct （强烈推荐）/qwen3.7-plus	顶尖OCR模型，中外文识别极其优秀，强烈推荐
智谱AI (ZhipuAI)	GLM-4.6V/GLM-OCR	国产大模型，多模态能力强，相当优秀
豆包(Doubao)	doubao-seed-2-0-pro/doubao-seed-1-8-251228	中文优化效果好，性价比高
OpenAI	gpt-5.5	高精度，多语言支持
Google Gemini	gemini-3.5-pro/gemini-3.5-flash	速度快，成本低
xAI Grok	grok-4.2	创新模型，独特优势
OpenRouter	qwen/qwen2.5-vl-72b-instruct:free	统一接口，模型丰富
Groq	meta-llama/llama-4-maverick-17b-128e-instruct	高性能推理，速度极快
魔搭 (ModelScope)	Qwen/Qwen3-VL-235B-A22B-Instruct （强烈推荐）	阿里达摩院开源平台，模型丰富，免费使用
腾讯混元 (Hunyuan)	hy-vision-2.0-instruct	腾讯自研多模态模型，支持图片理解，OpenAI兼容协议
Mistral AI	mistral-ocr-4-0 (mistral-ocr-latest)	欧洲AI公司，视觉模型优秀，免费使用
浦源书生 (Intern)	intern-s2-preview/intern-s1-pro/internvl3.5-241b-a28b	学术界AI平台，多模态能力强，免费使用，其中intern-s2-preview/intern-s1-pro为优秀OCR模型，中文识别非常优秀，十分推荐
Kimi（月之暗面）	kimi-k2.6/kimi-k2.5	月之暗面AI平台，支持视觉模型，长文本处理能力强，支持自定义Base URL
NVIDIA NIM	moonshotai/kimi-k2.6	NVIDIA高性能推理平台，视觉模型优秀，支持自定义Base URL
百度PaddleOCR系列	V3/V6/VL-1.6	百度飞桨平台，支持多语言识别，高效准确解析文档内容，其中PaddleOCR-VL-1.6 为顶尖OCR模型，中外文识别极其优秀，非常推荐
MinerU系列	pipeline(默认)/vlm(推荐) /MinerU-HTML/MinerU 2.5系列（官网暂未上线，上线后支持直接调用）	行业领先的文档解析服务商，尤其擅长处理非标准和复杂文档，拥有顶尖OCR模型，中外文识别极其优秀，非常推荐
小米MiMo	mimo-v2.5	小米自研AI模型，支持图片理解，支持专属Base URL（Code套餐用户可使用 token-plan-cn.xiaomimimo.com）
Longcat AI	LongCat-Flash-Chat/LongCat-Flash-Thinking	美团旗下AI平台，兼容OpenAI和Anthropic API格式，每日免费Token额度
Agnes	agnes-2.0-flash	兼容OpenAI API格式，支持视觉识别，响应速度快
讯飞星辰 (MaaS)	xoppaddleocrv16/xophunyuanocr	讯飞开放平台MaaS服务，兼容OpenAI API格式，支持多模态视觉识别。注意模型名需用xop前缀格式

🏠 本地服务商（离线识别）

服务商	建议模型	特点
Ollama	qwen2.5vl:7b, qwen3vl:8b	🔒 完全离线，隐私保护，免费使用，支持自定义地址
LM Studio	llava, llava-1.5-7b-hf	🔒 完全离线，图形界面友好，OpenAI兼容，支持自定义地址
llama.cpp	用户自行加载的视觉模型	🔒 完全离线，高性能推理，OpenAI兼容API，支持自定义地址和可选API Key

💡 自定义地址功能：Ollama、LM Studio 和 llama.cpp 均支持自定义 API 地址，您可以：

• 🌐 连接到局域网内其他机器上的 Ollama/LM Studio/llama.cpp 服务
• ⚡ 在配置较低的机器上运行 Umi-OCR，连接到高性能机器上的 AI 服务
• 🔧 灵活部署，充分利用现有硬件资源
• 📡 支持远程AI服务，实现分布式OCR处理

📊 对比识别效果

设置界面

识别图片："对于及其复杂的手写信息，也能完美识别"

本地PaddleOCR识别效果，结果很差劲

WechatOCR识别效果，结果很差劲

AI OCR(模型：gemini 2.5 flash)识别效果，非常完美

✨ 功能特点

功能	描述
🚀 高精度识别	基于最新的AI视觉模型，支持多种语言文字识别
🌍 多语言支持	支持中文、英文、日文、韩文、法文、德文、西班牙文、俄文、阿拉伯文等
⚡ 多厂商选择	支持26+ AI服务商，包括OpenAI、Gemini、xAI、OpenRouter、硅基流动、豆包、Agnes、讯飞星辰等
📍 坐标提取	可选择输出文字的位置坐标信息
📝 Markdown输出	支持以Markdown格式直接输出识别结果，保留标题、列表、表格等结构
🔧 灵活配置	支持图像质量、尺寸、超时等多项参数调整
🌐 代理支持	支持HTTP/SOCKS5代理，适应不同网络环境
🔄 智能重试	自动重试机制，提高识别成功率
🚀 并发处理	支持批量图片并发识别，提高处理效率
✏️ 自定义提示词	暴露提示词窗口，允许用户根据不同场景自定义识别提示词

📦 安装要求

1. Umi-OCR软件：需要安装 Umi-OCR v2.0+
2. AI服务API密钥：需要获取对应服务商的API密钥
3. 网络连接：需要能够访问对应的AI服务，国外模型通常需要魔法上网才行

🛠️ 安装步骤

1. AIOCR-releases中下载最新版本插件
2. 将压缩包中的AIOCR文件解压至 Umi-OCR 的插件目录：

   UmiOCR-data/plugins/
   

3. 重启 Umi-OCR 软件
4. 在OCR引擎选择中找到 "AI OCR（云端）"

⚙️ 配置说明

1. 配置插件

首次配置（推荐一次性配置所有服务商）：

1. 在Umi-OCR中选择 "AI OCR（云端）"
2. 在全局设置中配置所有你要使用的服务商：
   • 填写 OpenAI API密钥和模型（如需要）
   • 填写 Gemini API密钥和模型（如需要）
   • 填写其他服务商的配置（如需要）
3. 选择当前要使用的AI服务商并点击应用修改
4. （可选）自定义提示词：在全局设置中可修改"纯文字识别 Prompt"和"含坐标识别 Prompt"，根据特定场景优化识别效果。默认提示词适用于大多数情况，无需修改。
5. 在局部设置中选择"识别策略"：
   • 双通道：AI高精度识别（含位置版）：输出带坐标的文本，适合PDF等文档识别。
   • 仅AI高精度识别：直接输出纯文本，不含坐标，适合只需要文本信息的识别。
6. 在局部设置中选择"输出格式"：
   • 仅文字：输出纯文本结果。
   • 文字+坐标：输出带位置坐标的文本。
   • Markdown格式：以Markdown格式直接输出识别结果，保留标题、列表、表格等结构。PaddleOCR-VL-1.6和PP-StructureV3原生支持Markdown输出（PaddleOCR-V5原生不支持此功能）。
7. 设置参数：
   • 裁剪边缘补白 ： 2 px
   • 最大识别框数 ： 30–100 （按图片复杂度与成本权衡）
   • 并发识别数 ： 3–6 （视本机与服务商速率）,Paddle系列和MinerU系列上限为2
   • 最小框面积 ： 0 或 100–500 px^2 （有小字场景建议 0 ）

日常使用：

• 只需在"当前AI服务商"下拉菜单中切换并点击应用修改即可
• 无需重新输入API密钥和模型
• 所有配置都会自动保存

2. 开始识别

• 使用截图OCR、批量OCR等功能
• 插件会自动调用对应的AI API进行识别

⚠️ 注意事项

1. API成本：AI API按使用量计费，请注意控制使用频率
2. 网络要求：需要稳定的网络连接访问AI服务
3. 图像大小：建议设置合适的最大图像尺寸以控制成本
4. 隐私安全：图像会直接上传到服务商服务器进行处理，插件作者不会得到你的任何图片和信息
5. 速度限制：云端API可能有速度限制，不适合大量并发请求
6. 模型选择：不同模型的精度和成本不同，请根据需求选择
7. 中文变体保留：当语言为“自动/中文”时，插件已在提示词中明确禁止简繁转换、全角/半角转换和字符归一化；繁简混排保持混合状态；逐字抄写不重写。

🔑 API密钥获取

硅基流动 (SiliconFlow)

1. 访问 硅基流动
2. 注册账号并获取API密钥
3. 支持多种开源视觉模型

豆包 (Doubao)

1. 访问 火山引擎
2. 开通豆包服务并获取API密钥
3. 字节跳动自研多模态模型

OpenAI

1. 访问 OpenAI Platform
2. 登录账号并创建API密钥
3. 复制生成的密钥

Google Gemini

1. 访问 Google AI Studio
2. 登录Google账号
3. 创建新的API密钥

xAI Grok

1. 访问 xAI Console
2. 注册并获取API密钥

阿里云百炼 (Alibaba)

1. 访问 阿里云百炼平台
2. 开通百炼服务并获取API密钥
3. 支持通义千问系列视觉模型

智谱AI (ZhipuAI)

1. 访问 智谱AI开放平台
2. 注册账号并创建API密钥
3. 国产大模型，多模态能力强

OpenRouter

1. 访问 OpenRouter
2. 注册账号并创建API密钥

Groq

1. 访问 Groq Console
2. 注册账号并获取API密钥
3. 高性能推理平台，速度极快

魔搭 (ModelScope)

1. 访问 魔搭社区
2. 注册账号并获取访问令牌 (Access Token)
3. 阿里达摩院开源AI平台

腾讯混元 (Hunyuan)

1. 访问 腾讯混元大模型平台
2. 注册账号并获取API密钥
3. 腾讯自研多模态模型，支持图片理解，兼容OpenAI协议
4. 默认API地址：https://tokenhub.tencentmaas.com/v1
5. 支持模型：hy-vision-2.0-instruct、hunyuan-t1-vision-20250916、youtu-vita 等

Mistral AI

1. 访问 Mistral Platform
2. 注册账号并创建API密钥
3. 欧洲AI公司，视觉模型优秀

浦源书生 (Intern)

1. 访问 书生·浦语平台
2. 注册账号并获取API密钥；可自行申请更多Token
3. 学术界AI平台，多模态能力强

Kimi（月之暗面）

1. 访问 Kimi 开放平台
2. 注册账号，在 API Keys 页面创建API密钥
3. 月之暗面AI平台，支持视觉模型，长文本处理能力强
4. 默认API地址：https://api.moonshot.cn/v1
5. 支持模型：kimi-k2.6、kimi-k2.5 等

NVIDIA NIM

1. 访问 NVIDIA NIM
2. 注册账号并获取API密钥
3. NVIDIA高性能推理平台，视觉模型优秀
4. 默认API地址：https://integrate.api.nvidia.com/v1
5. 支持模型：moonshotai/kimi-k2.6 等

小米MiMo

1. 访问 Xiaomi MiMo API开放平台
2. 使用小米账号登录，在 控制台-API Keys 创建API密钥
3. 小米自研AI模型，支持图片理解
4. 默认API地址：https://api.xiaomimimo.com/v1
5. 如购买了Code套餐，可使用专属地址：https://token-plan-cn.xiaomimimo.com/v1

Longcat AI

1. 访问 Longcat AI 开放平台
2. 注册账号（国内用户手机号注册，海外用户手机号或邮箱注册），在 API Keys 页面创建API密钥
3. 美团旗下AI平台，兼容OpenAI和Anthropic API格式，每日免费Token额度
4. 默认API地址：https://api.longcat.chat/openai/v1
5. 支持模型：LongCat-Flash-Chat、LongCat-Flash-Thinking、LongCat-Flash-Lite 等

Agnes

1. 访问 Agnes 开放平台
2. 注册账号并创建API密钥
3. 兼容OpenAI API格式，支持视觉识别
4. 默认API地址：https://apihub.agnes-ai.com/v1
5. 支持模型：agnes-2.0-flash 等

讯飞星辰 (MaaS)

1. 访问 讯飞开放平台，在「服务管控」页面开通对应模型服务
2. 从服务管控页面获取 APIKey 和对应服务的 ModelID
3. 兼容 OpenAI API 格式，支持图像理解多模态识别
4. 默认API地址：https://maas-api.cn-huabei-1.xf-yun.com/v2（2026年1月10日后发布服务的用户）；存量用户可使用 http://maas-api.cn-huabei-1.xf-yun.com/v1
5. 注意：讯飞平台模型名需使用xop前缀格式，与其他平台不同：
   • xoppaddleocrv16（PaddleOCR-VL-1.6，默认）
   • xophunyuanocr（HunyuanOCR）
   • DeepSeek-OCR 暂不支持 API 调用

百度飞桨OCR

1. 访问 AI Studio 获取 Access Token
2. 支持模型：PP-OCRv6 / PaddleOCR-VL-1.6 / PP-StructureV3
3. 已切换为异步解析模式，只需填写 Token 即可使用
4. 每位用户每日对同一模型的解析上限为3000页，超出将返回429错误；可自行申请更多页数

MinerU

1. 访问 MinerU官网：(https://mineru.net/apiManage/token)
2. 注册账号并免费获取API TOKEN和模型名称，如 pipeline（默认）/vlm(推荐) /MinerU-HTML等
3. 每个账号每天享有 600 页最高优先级解析额度，超过 600 页的部分优先级降低
4. 单个文件大小不能超过 200MB,文件页数不超出 600 页（“批量文档”和“批量OCR”可无视此约束）

🏠 本地服务安装指南

Ollama (完全离线)

1. 安装Ollama：

   # Linux/macOS
   curl -fsSL https://ollama.ai/install.sh | sh
   
   # Windows
   # 从 https://ollama.ai 下载安装包

2. 下载视觉模型：

   # 下载llava模型（推荐）
   ollama pull llava
   
   # 或下载其他视觉模型
   ollama pull llava:7b
   ollama pull bakllava

3. 启动服务：

   ollama serve
   # 服务将在 http://localhost:11434 启动

4. 在插件中配置：

   • 服务商：选择 "Ollama (本地)"
   • 模型：填入已下载的模型名（如 llava）
   • 默认API地址（可修改）：http://localhost:11434/api
   • API密钥：留空即可

LM Studio (图形界面)

1. 下载安装：

   • 访问 LM Studio官网
   • 下载并安装适合您系统的版本

2. 下载模型：

   • 在LM Studio中搜索并下载支持视觉的模型
   • 推荐：llava-1.5-7b-hf, llava-1.6-34b-hf

3. 启动本地服务器：

   • 在LM Studio中点击"本地服务器"
   • 选择已下载的视觉模型
   • 启动服务器（默认端口1234）

4. 在插件中配置：

   • 服务商：选择 "LM Studio (本地)"
   • 模型：填入LM Studio中加载的模型名
   • 默认API地址（可修改）：http://localhost:1234/v1
   • API密钥：留空或填入"not-needed"

llama.cpp (高性能推理)

1. 安装llama.cpp：

   • 从 llama.cpp Releases 下载适合您系统的版本
   • 或通过包管理器安装

2. 下载视觉模型：

   • 从 Hugging Face 等平台下载支持视觉的 GGUF 模型文件
   • 推荐：LLaVA、Qwen-VL 等视觉模型的 GGUF 量化版本

3. 启动服务：

   llama-server -m <模型路径> --host 0.0.0.0 --port 8080
   # 服务将在 http://localhost:8080/v1 启动（OpenAI兼容API）
   # 如需设置API密钥：llama-server -m <模型路径> --api-key your-secret-key

4. 在插件中配置：

   • 服务商：选择 "llama.cpp (本地)"
   • 模型：填入加载的模型名称
   • 默认API地址（可修改）：http://localhost:8080/v1
   • API密钥：如启动时设置了 --api-key 则填写对应密钥，否则留空

🔒 本地服务优势

• 完全离线：无需网络连接，数据不上传
• 隐私保护：所有处理在本地完成
• 免费使用：无API调用费用
• 自主控制：可选择和定制模型

📝 版本历史

• v3.0.5：🔧 修复 - 修正讯飞星辰平台模型名：使用 xop 前缀格式（xoppaddleocrv16、xophunyuanocr），注明 DeepSeek-OCR 暂不支持 API 调用。
• v3.0.4：✨ 新增 - 添加讯飞星辰（MaaS）平台支持（兼容 OpenAI API 格式，默认模型 PaddleOCR-VL-1.6，默认地址 https://maas-api.cn-huabei-1.xf-yun.com/v2，支持 DeepSeek-OCR、HunyuanOCR 等模型）。
• v3.0.3：✨ 新增 - 添加 Agnes 平台支持（兼容 OpenAI API 格式，默认模型 agnes-2.0-flash，默认地址 https://apihub.agnes-ai.com/v1）。
• v3.0.2：🐛 修复 - 修复 Ollama 平台使用推理模型（如 openbmb/minicpm-v4.6）时识别结果混入思维链内容的问题。新增通用思维链剥离函数 strip_thinking_content，自动移除 ...、<reasoning>...</reasoning>、<thought>...</thought> 等推理模型输出的思维链标签（支持成对、仅开标签、仅闭标签及大小写不敏感），确保 OCR 结果干净。修复应用于 OllamaProvider 响应解析。
• v3.0.1：🐛 重要修复 - 修复双通道模式下 Paddle 在线服务商（PaddleOCR-VL-1.6 / PP-StructureV3）完全不识别的问题。原实现将每个检测框裁剪后逐一发送到在线 API 识别，但 VL-1.6/StructureV3 是版面分析模型，对裁剪后的小文本块返回空结果，导致所有文本为空。现改为整图调用一次 API，再按行顺序匹配到本地检测框，同时将 N 次异步请求降为 1 次，大幅提升速度。检测器参数（box_thresh、merge_y_ratio、det_thresh、unclip_ratio）现可在设置面板配置；v6 检测器新增自适应 padding 以改善边缘文字检测。
• v3.0.0：🚀 重大更新 - 双通道模式全面升级！将本地检测模块从基于C++的PP-OCRv3替换为基于ONNX的PP-OCRv6，速度更快、精度更高、体积更小（约40MB）。新增检测器版本和模型大小配置项，用户可选择Small/Medium/Tiny模型。修复检测模块遮蔽AI识别结果的问题：检测器现在仅负责文本块定位，不再返回识别文本，识别任务完全交由AI完成。新增腾讯混元（Hunyuan）平台支持；移除无问芯穹（Infinigence）平台（官方已停止个人用户服务）。
• v2.9.9：在各功能板块的"文字识别(AI OCR)"设置顶部新增"当前AI服务商"快捷切换，默认跟随全局设置，也可直接选择服务商覆盖（选择后全局设置同步更新），无需频繁打开全局设置即可切换服务商。
• v2.9.8：百度PaddleOCR模型升级：将默认模型从PP-OCRv5升级至PP-OCRv6，API端点和请求格式保持不变，所有原有功能（文档扭曲矫正、文档方向分类、文本行方向矫正等）均可继续使用。
• v2.9.7b：修复阿里云百炼平台识别速度极慢的问题：将请求方式从DashScope原生API（/services/aigc/multimodal-generation/generation）切换为OpenAI兼容模式（/compatible-mode/v1/chat/completions），与阿里云官方推荐方式一致，响应速度从数分钟降至正常水平。同时优化HTTP客户端连接复用机制，HTTPClient改为复用同一个opener实例，避免每次请求都重建TLS握手和TCP连接，所有平台的多API调用场景（如双通道纠错回退）均受益。
• v2.9.7a：修复NVIDIA NIM平台报错 'Api' object has no attribute '_get_ocr_prompt' 的问题：_send_nvidia_nim_request方法调用了不存在的_get_ocr_prompt()，修正为接收上游已构建好的prompt参数。
• v2.9.7：新增Markdown格式输出选项，所有平台均可选择以Markdown格式直接输出识别结果；PaddleOCR-VL-1.6和PP-StructureV3原生支持Markdown输出，无需裁剪即可获取完整Markdown结构；Markdown模式下保留所有符号（包括#标题），仅文字和文字+坐标模式不受影响。新增llama.cpp本地服务商支持；Ollama平台API地址开放为用户可自定义。
• v2.9.6：更新PaddleOCR-VL至1.6版本，移除PaddleOCR-VL和PaddleOCR-VL-1.5支持，保留高级功能供VL-1.6使用；全面废弃PaddleOCR系列所有模型的同步解析模式，统一使用异步解析模式。
• v2.9.5：新增Kimi（月之暗面）、NVIDIA NIM和Longcat AI平台支持；PaddleOCR系列全部切换为异步解析模式，适配官方API变更；PaddleOCR配置简化为仅需填写Token。
• v2.9.4：完善LM Studio本地服务配置，新增自定义API地址支持；新增小米MiMo平台及其专属Base URL支持（Code套餐用户可使用专属地址）；暴露提示词窗口，允许用户自定义纯文字识别和含坐标识别的提示词。
• v2.9.3：增加Paddle系列和MinerU系列功能开关，提供更强大的识别功能；以Markdown为输出格式（Paddle系列和MinerU系列）时，默认去除所有的结果中的"#"; 修正文档说明。
• v2.9.2：增加GLM-OCR和MinerU；默认关闭所有平台的"深度思考"功能；略微优化了识别结果与文字不对齐的表现。
• v2.9.1：增加PaddleOCR-VL-1.5，效果更好，默认关闭版面识别，默认开启Markdown美化，输出文本更美观。
• v2.9.0：增加PP-StructureV3功能，对复杂版面内容解析更精准。默认开启版面识别，默认开启Markdown美化，输出文本更美观。
• v2.8.0：增加PaddleOCR-V5以及PaddleOCR-VL功能。
• v2.7.0：调整双通道策略，现在双通道:AI高精度识别(含位置版)识别精度更高、识别速度速度更快。
• v2.6.0：🚀 重大更新 完美解决大模型OCR无法文字对齐的问题！新增并完善双通道识别，通过本地PaddleOCR检测识别真实坐标，再用所用AI模型识别文本，识别文字与原图文字完美对齐！并发识别、框数限制、本地高分直接采用、裁剪补白等参数可调，整图识别速度较之前版本更快。
• v2.5.0：🎉 社区贡献更新 - 新增5个AI服务商支持！添加Groq（高性能推理）、魔搭ModelScope（阿里达摩院）、Mistral AI（欧洲AI）、浦源书生Intern（学术界AI），大幅扩展AI服务商选择。优化本地服务自定义地址功能。
• v2.4.0：🚀 重大更新 - 新增本地离线识别支持！添加Ollama、LM Studio本地服务商，支持自定义API地址，完全离线OCR成为可能。优化识别文字对齐，现在识别后的文字与原图位置只有轻微偏移。
• v2.3.0：新增阿里云百炼和智谱AI支持，更新所有服务商默认模型，优化界面布局，移除重试次数配置（内置3次）
• v2.2.0：支持一次性配置所有服务商，切换时无需重新输入API密钥和模型
• v2.1.0：增加支持硅基流动、豆包视觉模型
• v2.0.0：重构为多厂商AI OCR插件，支持OpenAI、Gemini、xAI、OpenRouter
• v1.2.0：支持Gemini 2.5 Flash和Pro预览版模型，优化识别精度
• v1.1.0：增加多语言支持，优化错误处理
• v1.0.0：初始版本，支持Gemini OCR功能

💖 支持

如果这个插件对您有帮助，请考虑：

• 给项目点个星⭐
• 分享给更多需要的人
• 提供反馈和建议
• 参与项目贡献

---

感谢使用 Umi-OCR 多厂商 AI OCR 插件！