0. 前言

自 ChatGPT 于 2022 年 11 月發(fā)布以來，大模型的相關研究在全世界的學術界和工業(yè)界都引起了廣泛的關注，大模型技術也為智能文檔處理領域帶來了新的機遇。通過在智能文檔處理領域訓練和應用大規(guī)模深度學習模型，能夠提供更準確、全面的文檔理解與分析，改善文檔圖像識別和分類的性能，并提供強大的文檔生成和翻譯能力。這將推動智能文檔處理技術的發(fā)展，為各行各業(yè)的數字化轉型和智能化升級提供重要支持。
在本節(jié)中，我們將回顧來自合合信息的丁凱博士在第十九屆中國圖象圖形學學會青年科學家會議 - 垂直領域大模型論壇中關于文檔圖像大模型的思考與探索，并介紹在大模型時代下文檔智能處理技術面臨的挑戰(zhàn)和研究進展。

1. 垂直領域大模型論壇

1.1 論壇介紹

2023 年 12 月 28 日至 31 日在廣州成功舉辦“第十九屆中國圖像圖形學學會青年科學家會議”，該會議由中國圖像圖形學學會青年工作委員會主辦，合合信息聯(lián)合承辦。會議面向國際學術前沿與國家戰(zhàn)略需求，聚焦最新前沿技術和熱點領域 。
2023 年 12 月 29 日下午，垂直領域大模型論壇成功舉辦?！按怪鳖I域大模型”致力于在重要的前沿科技領域開發(fā)特定行業(yè)或應用領域優(yōu)化的大型人工智能模型，同時，也為行業(yè)特定解決方案、數據分析和智能決策提供了重要的技術支撐。此次論壇的重點是介紹垂直領域大模型的最新研究進展與前沿技術，旨在促進圖像圖形領域學術界與產業(yè)界之間的交流與合作，推動該領域的創(chuàng)新與發(fā)展。

1.2 走近合合信息

合合信息是行業(yè)領先的人工智能及大數據科技企業(yè)，深耕智能文字識別、圖像處理、自然語言處理和大數據挖掘等領域，其研發(fā)的智能圖像處理引擎提供多種圖像智能處理黑科技，例如圖像切邊增強、PS 篡改檢測以及圖像矯正等，相關黑科技的體驗可以登錄合合信息官網。
合合信息發(fā)布的產品包括名片全能王、掃描全能王和 TextIn 智能文檔處理云平臺，為全球用戶和企業(yè)提供卓越的服務。其研究團隊合合 TextIn 在智能文檔處理技術領域進行了廣泛而深入的研究，包括文檔圖像分析與預處理、文檔解析與識別、版面分析與還原、文檔信息抽取與理解、AI安全以及存儲檢索和管理等多個關鍵技術，為智能文檔處理領域的發(fā)展做出了巨大貢獻。

2. 大模型時代下的文檔圖像智能處理

文檔圖像智能處理是一種將圖像和文本結合起來的技術，可以將圖像中的文字識別為計算機可讀的文本，并將其用于數據分析、信息檢索、自然語言處理以及其他信息處理任務中，因此文檔圖像智能分析與處理在現(xiàn)實場景具有重要意義，不僅能夠進行自動化識別和提取文本信息，降低人力成本，提高生產效率，同時具有廣泛的應用場景。

但目前，文檔圖像智能分析與處理過程中仍面臨著諸多挑戰(zhàn)，例如，文檔類型的多樣產生了繁雜的版式與結構，同時文檔圖像來源的多樣導致了形式、格式、布局、字體、大小等方面具有的差異性，同時受拍攝器材、背景環(huán)境影響，文檔圖像可能存在噪聲、失真、模糊等問題，這會影響到圖像的質量和識別準確度。

因此文檔圖像智能處理是圖像圖形技術研究的重要方向，為了推動相關研發(fā)和實踐工作，在垂直領域大模型論壇上，來自合合信息的丁凱博士主要介紹了大模型時代下文檔圖像智能處理面臨的一些關鍵技術難題和挑戰(zhàn)，以及合合信息在解決文檔圖像智能處理領域面臨的各類問題時所做一些相關工作進展和研究成果。

2.1 大模型發(fā)展

隨著 ChatGPT 等大模型在自然語言處理和其他領域的廣泛應用，大模型這一概念開始受到越來越多的關注。一方面，大模型在很多領域都取得了顯著的成果，為人工智能技術的發(fā)展提供了強大的支撐。例如，在自然語言處理領域，大模型可以實現(xiàn)更精確、更快速的文本生成、機器翻譯等任務；在圖像識別領域，大模型可以實現(xiàn)更高準確性的圖像分類和目標檢測等任務。另一方面，隨著硬件技術的不斷進步和計算資源的逐步普及，大模型的應用也逐漸向更多的領域擴展。越來越多的企業(yè)和研究機構開始關注大模型的應用與研究。

在文檔圖像智能處理領域，隨著多模態(tài)大模型的深入研究和發(fā)展，使得處理具有多種類型和來源的數據變得更加容易和精確。例如，可以通過使用多模態(tài)信息(如文本、視覺和音頻)來實現(xiàn)文檔圖像的內容理解和分類，并且可以使用大規(guī)模深度學習模型進行訓練與推理，從而取得更好的效果和性能。

2.2 GPT-4V 在文檔領域的表現(xiàn)

GPT-4V 是基于 SOTA (state of the art) 大語言模型 (Large Language Model, LMM ) 并使用大量多模態(tài)數據訓練的最先進的具有視覺能力的大型多模態(tài)模型 (Large Multimodal Model, LMM)。GPT-4V 不僅可以使用僅文本輸入 (text-only inputs)，也可以選擇僅帶有單個圖像的單個圖像-文本對 (single image-text pair)，還可以選擇帶有多個圖像輸入 (multiple image inputs) 的交錯圖像-文本對 (interleaved image-text pairs)。
在場景文字識別，無論語言的種類和形態(tài)，GPT-4V 都可以取得較好的結果，與此同時，在類似手寫文字識別、幾何圖像與文字結合的教育場景中，GPT-4V 也具有優(yōu)秀的表現(xiàn)。而傳統(tǒng)的技術想要實現(xiàn)在幾何圖像與文字結合的文檔中做到正確識別，需要多個模型進行縫合，并針對特定場景進行定制，其泛化能力有限。

除了常規(guī)的證件識別外，GPT-4V 也可以針對比較復雜版式，甚至對于多張不同的文檔圖像以及文檔圖像與自然場景結合的信息抽取和文檔理解，GPT-4V 同樣表現(xiàn)優(yōu)異，例如，提問圖中商品價格，GPT-4V 會首先分析自然場景中有多少此類商品，然后再賬單圖像中根據總價和商品數量計算出商品單價，最終得到自然場景中的商品總價，使用端到端的形式解決圖像文檔處理問題。

GPT-4V 除了在表格文檔中表現(xiàn)優(yōu)異外，還能夠針對統(tǒng)計圖，包括曲線圖、柱狀圖等進行處理，能夠清晰的描述圖表中的內容，同時在根據圖表內容進行編碼和問答等方面表現(xiàn)出巨大的潛力，而傳統(tǒng)方法對此領域的研究效果相對一般，且泛化能力與 GPT-4V 有相當大的差距。

在文檔圖像處理領域的某些問題上，GPT-4V 超出了傳統(tǒng)方法的研究水平，例如在專業(yè)學科問題上，針對建筑場景的設計圖、生物、地理學科的圖文結合理解，對于傳統(tǒng)方法而言仍然是較大挑戰(zhàn)。

看到 GPT-4V 在智能文檔處理領域的優(yōu)異表現(xiàn)后，接下來，我們需要回答以下問題：在 GPT-4V 模型提出后，傳統(tǒng)的光學字符識別 (Optical Character Recognition, OCR) 是否面臨淘汰的窘境？

2.3 GPT-4V 對智能文檔處理的局限性

盡管以 GPT-4V 為代表的大模型在認知和理解等層面取得了非常驚艷的效果，但在文檔處理領域中面臨的問題，例如圖像質量、文字識別和版面分析等仍然存在。
GPT-4V 仍然無法解決所有 OCR 問題，例如，在中文領域，無論是印刷還是手寫字體，經常會出現(xiàn)幻覺現(xiàn)象(幻覺現(xiàn)象是指模型生成的內容與現(xiàn)實世界事實或用戶輸入不一致的現(xiàn)象，通俗理解就是，模型在“胡說八道”)，經常會出現(xiàn)大段的不存在內容。在智能文檔處理 (Intelligent Document Processing, IDP) 領域，幻覺現(xiàn)象的出現(xiàn)可能通常是由于模型在識別文檔時就偏離了文檔所內容造成。研究表明，在處理非拉丁語言和復雜任務(如手寫數學表達式識別、表格結構識別以及從文檔圖像中進行端到端語義實體識別和對抽取)時仍存在困難?；诖?，專門的 OCR 模型仍具有必要性和研究價值。

為了全面衡量 GPT-4V 在 IDP 領域的表現(xiàn)，研究人員對 GPT-4V 在一系列 OCR 任務中的表現(xiàn)進行了量化評估，包括場景文字識別、手寫文字識別、手寫數學表達式識別、表格結構識別以及從視覺豐富的文檔中提取信息等。評估結果顯示，除了在手寫英文識別問題上， GPT-4V 接近 SOTA 水平外，無論是場景文字識別、手寫公式識別等 OCR 任務中， GPT-4V 距離 SOTA 水平仍有較大差距，在手寫公式識別任務中， GPT-4V 甚至只有 10% 左右的準確率，完全無法進行正常應用，而 SOTA 仍然可以達到 60%-70% 的水平。

另一方面，雖然 GPT-4V 能做到 OCR 文檔識別，但對于特別長的文檔，例如包含 300 頁左右的文檔，會超出 GPT-4V 所能處理的范疇，其依賴于前置的文檔識別系統(tǒng)的精度。并且文檔不僅有文字，還包含結構與版式，無論是掃描文檔或電子文檔，對于 GPT-4V 都是未解決的問題，對于稍加復雜的文檔，其解析效果就會較差，如果前置識別效果較差，那么文檔理解效果將大打折扣。
并且在視覺豐富的密集文本中，多模態(tài)大模型仍無法取得理想結果，主要是因為它們更傾向于基于文本的語義分析，而在視覺數據解析方面能力相對不足。這就導致在處理細粒度文本（例如細小的簽名、復雜的古文字）時，傳統(tǒng)的語言模型無法有效應對。為了克服這些限制，就需要融合專門的 OCR 技術和算法來實現(xiàn)準確的文本識別和提取。

3. 大模型時代下的智能文檔處理

盡管存在上述限制，GPT-4V 和其他通用 LLM 仍然可以通過增強語義理解、微調下游任務以及促進自動/半自動數據構建等方式，顯著推動 OCR 領域的發(fā)展。這些方法有助于提高 OCR 系統(tǒng)的準確性、效率和適應性，為實現(xiàn)更準確和高效的 OCR 提供了潛在的解決方案。

3.1 像素級 OCR 統(tǒng)一模型

在 IDP 領域，GPT-4V 仍然無法處理像素級任務，而在文檔解析與識別任務上，GPT-4V 仍然距離傳統(tǒng)技術存在差距，GPT-4V 的強項在于文檔信息抽取與理解等認知層面上。利用 GPT-4V 提供的大模型范式，在像素級 OCR 上做統(tǒng)一模型，能夠提升領域性能上限，彌補 GPT-4V 的缺陷。
針對目前 OCR 的多數模型通常是針對特定任務設計的，采用不同的架構和訓練策略，這極大地增加了研究和維護的復雜性，并阻礙了模型在應用中的快速部署。因此，合合信息-華南理工大學文檔圖像分析識別與理解聯(lián)合實驗室研究了 UPOCR，用于統(tǒng)一的像素級 OCR 模型。具體而言，UPOCR 將不同 OCR 任務的范例統(tǒng)一為圖像到圖像的轉換，并使用基于視覺 Transformer (ViT) 的編碼器-解碼器架構。

實驗結果表明，UPOCR 模型在三個像素級OCR任務上，包括文本去除、文本分割和篡改文本檢測，均實現(xiàn)了 SOTA 性能，而僅使用一個統(tǒng)一的模型，為通用 OCR 模型的研究提供了有益參考。

3.2 OCR 大一統(tǒng)模型

令計算機理解文檔圖像是一項困難但至關重要的任務，它涉及到復雜的功能，例如文本識別和對文檔的整體理解。目前的視覺文檔理解 (Visual Document Understanding, VDU) 方法主要依賴傳統(tǒng)的 OCR 引擎來處理文本識別，并且主要關注使用 OCR 輸出進行理解。盡管這些基于 OCR 的方法表現(xiàn)出一定的準確性，但它們也存在以下問題：高昂的計算成本；對語言和文檔類型的靈活性有限；OCR 錯誤可能會影響后續(xù)處理過程。
為解決上述問題，Donut 模型移除了 OCR，使用 Transformer 架構，并使用交叉熵損失進行預訓練。而 NOUGAT 模型通過 Swin Transformer 和 Transformer Decoder 實現(xiàn)文檔圖像到文檔序列輸出，主要解決了 PDF 格式會導致語義信息丟失的問題。KOSMOS2.5 是用于閱讀文本密集圖像的多模態(tài)模型，基于 Pix2Seq 架構根據輸入圖像輸出文本塊識別結果，該模型可以通過微調輕松適應任何具有不同 prompt 的文本密集圖像理解任務。
丁凱博士分享了 OCR 大一統(tǒng)模型相關的研究范式：

• 將文檔圖像識別分析的各種任務定義為序列預測的形式
• 通過不同的 prompt 引導模型完成不同的 OCR 任務
• 支持篇章級的文檔圖像識別分析，輸出 Markdown/HTML/Text 等標準格式
• 將文檔理解相關的工作交給 LLM 去做

團隊基于上述理念與其他 SOTA VDU 模型，提出了 OCR 大一統(tǒng)模型 SPTS v3，將多種 OCR 任務定義為序列預測的形式，通過不同的prompt引導模型完成不同的 OCR 任務。

3.3 文檔識別分析與 LLM 應用融合

在論壇分享的最后，丁凱博士展示了合合信息對于多模態(tài)大模型在文檔領域應用的范式，該范式包含文檔和用戶問題(首先處理文檔的圖像形式，包括掃描的紙質文件、拍照的照片，或電子文檔的頁面圖像)、文檔識別與版面分析(識別文檔中的文字、圖片、表格等元素，并分析版面布局，包括標題、段落、頁眉和頁腳，用于理解文檔的總體結構和內容組織)、文檔切分與召回(將文檔切分，將不同部分的內容分離出來，以便進行進一步處理和分析，此外，實施召回策略用于檢索和提取文檔中的特定元素，如標題、關鍵字和段落內容)和 LLM 問答(大語言模型問答用于文檔中信息提取的問答任務，通過訓練模型理解文檔內容，實現(xiàn)高度智能化的信息提取和交互，以便用戶可以快速獲取所需信息)等關鍵步驟。

最后，丁凱博士以相關產品對財報問答的實踐為例，展示了合合信息在文檔識別分析與 LLM 應用融合方面的研究進展。通常，諸如財報之類的文檔內容長(有時多大數百頁)、圖表多，版式雜(混合使用多種圖表)、專業(yè)性強(包含大量專業(yè)術語)以及數據多，相似概念多(多個概念是同一數據的不同表述)，因此傳統(tǒng)的處理方法存在處理效率低、語義解析能力不足等問題，而新的模型能夠從復雜的文檔中提取關鍵信息，并以人類可讀的方式呈現(xiàn)給用戶。例如，它可以識別重要的數據和圖表，并解析其中的信息，并且還能夠理解上下文和語義關系，幫助用戶更好地理解和分析文檔內容。項目體驗地址：https://www.textin.com/market/detail/document。

4. 文檔圖像大模型發(fā)展展望

通過整合圖像、文字和語音等多種模態(tài)數據，以 GPT-4V 為代表的多模態(tài)大模型技術極大的推動了文檔識別與分析領域的進步，為傳統(tǒng)的圖像文檔處理技術帶來了重大挑戰(zhàn)，但仍然存在許多亟待解決的問題，需要進一步的研究和探索，例如文檔識別等感知層面的研究、以及如何更好地結合大模型的能力來優(yōu)化圖像文檔處理。
隨著技術的不斷進步，感知與認知的結合將會為用戶帶來更加智能、高效、便捷的圖像文檔處理體驗，實現(xiàn)更深入的語義理解和分析，從而提高文檔的組織、分類和檢索等方面的效率和精度。期待合合信息在模式識別、深度學習、圖像處理和自然語言處理等領域繼續(xù)深入探索和研究，以推動技術創(chuàng)新。

小結

盡管多模態(tài)大模型技術在智能文檔處理領域有著重要的作用，但它并沒有完全解決該領域面臨的問題。本文通過回顧丁凱博士在第十九屆中國圖象圖形學學會青年科學家會議 - 垂直領域大模型論壇上的報告，介紹了 GPT-4V 在 IDP 領域的優(yōu)異性能及其面臨的挑戰(zhàn)，然后介紹了合合信息在文檔感知方面的研究進展，并分析了如何將文檔識別分析與大語言模型融合，以進一步提高圖像文檔處理的性能。

相關鏈接

多模態(tài)大模型時代下的文檔圖像智能分析與處理

參與問卷調查，贏取福利

合合信息為大家準備了一份福利！只需填寫問卷，在 1 月 12 日開獎時，將有機會成為 10 名幸運兒之一，每位獲獎者將獲得 50 元京東卡，快來參與吧！

文章來源地址http://www.zghlxwxcb.cn/news/detail-777540.html

到了這里，關于探索文檔圖像大模型，提升智能文檔處理性能的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！