OCR(光學字元辨識)對拉丁語系文字(英文、法文、西班牙文等)的辨識早已相對成熟,但對中文(特別是繁體中文)、日文、韓文等 CJK(Chinese-Japanese-Korean)語言,以及阿拉伯文、希伯來文等從右到左書寫的語言,辨識難度顯著提升。本文將深入探討中文 OCR 的特殊挑戰、各工具的語言支援情況、混合語言文件的處理方法,以及各語言的準確率比較。
中文 OCR 的特殊挑戰
中文 OCR 面臨的挑戰在本質上與拉丁語系語言截然不同:
- 字元集龐大:英文只有 26 個字母,加上數字和符號,總字元集約 100 個。繁體中文的常用字約 4000-5000 個,完整字元集包含超過 20,000 個字元(根據 Unicode CJK 統一漢字區塊)。每個字元都需要獨立辨識,模型複雜度遠高於拉丁語系。
- 字形結構複雜:每個漢字由多個筆畫組成,筆畫數從 1 畫(一)到 30 畫以上(靐)不等。字體大小小、掃描品質差時,細小的筆畫差異容易被誤辨。例如「土」與「士」、「己」與「已」、「戊」與「戌」這類形近字,在低品質圖像中極易混淆。
- 繁體、簡體與日文漢字的差異:繁體中文、簡體中文和日文漢字雖然有大量共同字,但也有許多形態相似但含義不同的字元。OCR 系統若未正確區分語言,容易產生混淆辨識。
- 直排與橫排:中文文件有時採用直排(從右到左、從上到下的閱讀順序),對版面分析演算法是額外的挑戰。傳統報紙、書法作品和部分歷史文件常採用此格式。
- 標點符號差異:中文使用全形標點符號(。,!?「」),且有特定的使用規範,OCR 需要能正確辨識這些符號並與字元區分。
日文 OCR 的額外複雜性
日文 OCR 比中文更複雜,因為日文混合使用三種文字系統:
- 平假名(Hiragana):46 個基本字符,用於日語原生詞彙的拼寫。
- 片假名(Katakana):46 個基本字符,主要用於外來語和強調。
- 漢字(Kanji):借自中文的字元,常用漢字約 2000 個(日本政府規定的「常用漢字」),但實際使用中超過 3000 個。
一份日文文件可能在同一句話中混用這三種文字系統,OCR 需要具備全部三種文字的辨識能力,且必須正確理解它們之間的切換。
各工具的多語言支援評比
Adobe Acrobat Pro
- 支援語言:超過 40 種,包括繁體中文、簡體中文、日文、韓文、阿拉伯文等。
- 繁體中文準確率:對高品質掃描件(300 DPI 以上),準確率可達 95-98%。
- 優點:對複雜版面和混合語言的處理最完整,商業軟體中最受信賴的選擇。
- 缺點:需要付費訂閱。
ABBYY FineReader
- 支援語言:超過 200 種,涵蓋幾乎所有現代語言及部分古典語言。
- 繁體中文準確率:與 Acrobat 相當,對直排文字的支援優於 Acrobat。
- 優點:語言支援最廣泛,自動語言偵測功能強,適合需要處理多種語言文件的企業用戶。
- 缺點:授權費用較高。
Tesseract OCR(開源)
- 支援語言:100 多種,通過下載額外的語言包支援繁體中文(chi_tra)、簡體中文(chi_sim)和日文(jpn)。
- 繁體中文準確率:對高品質文件可達 90-95%,低於商業軟體,但對開源工具而言相當不錯。
- 優點:完全免費、開源、可在本機執行(無隱私風險)。
- 缺點:需要技術背景,命令列操作;對複雜版面的處理不如商業工具。
Google Cloud Vision API / Google Document AI
- 支援語言:超過 50 種,包括所有 CJK 語言。
- 繁體中文準確率:基於深度學習,對高品質文件準確率可達 97-99%。
- 優點:AI 驅動,對低品質圖像的容錯性強,REST API 易於整合。
- 缺點:需要網路連線,有費用(雖然前 1000 頁/月免費)。
混合語言文件的處理方法
現代文件中,中英混排、中日混排等混合語言情況極為常見。處理這類文件時需要特別注意:
- 設定多語言模式:在 Acrobat 中,OCR 語言選擇中英混排文件時,建議選擇「繁體中文」(它通常會自動辨識英文和數字部分)。在 Tesseract 中,使用
-l chi_tra+eng 同時載入兩種語言的模型。
- 分區處理:若文件中有明確的語言分區(例如上半部是中文、下半部是英文),可以先分割圖像,對不同區域使用不同語言模型,再合併結果,往往能獲得更好的準確率。
- 後處理校正:使用語言辨識(Language Identification)工具對 OCR 結果進行語言標注,然後用對應語言的拼寫校正工具(Spell Checker)進行後處理,可以進一步提高準確率。
各語言 OCR 準確率比較
以下是在理想條件(300 DPI 以上、清晰印刷文字)下,主流語言的 OCR 準確率參考值(使用優質商業工具):
- 英文、法文、德文、西班牙文:99%+(拉丁字母相對簡單)
- 繁體中文:95-98%(字元複雜,但有足夠的訓練資料)
- 簡體中文:96-99%(字形相對繁體更簡化,準確率略高)
- 日文(平假名/片假名):97-99%(字形規則,辨識容易)
- 日文(漢字混合):93-97%(漢字複雜度降低整體準確率)
- 韓文(諺文):96-99%(字形規則,辨識難度中等)
- 阿拉伯文:90-95%(連字書寫系統增加辨識難度)
這些準確率在文件品質降低(掃描模糊、字體過小、紙張泛黃)時會顯著下降。對中文文件而言,從 300 DPI 降到 150 DPI,準確率可能下降 10-20 個百分點。
歷史文獻與舊體字的 OCR 挑戰
對需要辨識民國或更早時期文獻的研究者而言,還面臨額外的挑戰:
- 早期文獻可能使用現已廢棄的異體字或舊字形,現代 OCR 模型的訓練資料主要基於當代用字。
- 木版印刷或活字印刷的老舊文獻印刷品質不均,筆畫殘缺或模糊的情況很常見。
- 針對歷史文獻的專業 OCR 工具(如台灣中研院開發的古籍 OCR 系統、日本的 NDLOCR 系統)在這方面有更好的表現,建議優先考慮這類專業工具而非通用 OCR 軟體。
在瀏覽器裡直接完成,檔案不會離開你的電腦:PDF 工具