像篡改檢測、文本分割擦除這樣像素級的任務，GPT-4V大模型處理的并不好，雖然它在文檔解析和識別領域的能力已經(jīng)具備，但較之于SOTA方法來比較，性能還是有待提升。

GPT-4V這樣多模態(tài)大模型的強項在于信息抽取和理解認知層面，這一特點在經(jīng)過有效利用后，可以大幅提升該研究領域的天花板。

三、大模型時代對IDP的思考與探索

1.像素級OCR統(tǒng)一模型

在文檔圖像預處理統(tǒng)一模型方面，下面介紹2個合合信息與華南理工大學聯(lián)合實驗室的研究成果。

第一個研究成果是UPOCR，一種文檔圖像像素級多任務處理的統(tǒng)一模型。模型如圖所示，UPOCR是一個通用的OCR模型，引入可學習的Prompt來指導基于ViT的編碼器-解碼器架構，統(tǒng)一了不同像素級OCR任務的范式、架構和訓練策略。 UPOCR的通用能力在文本去除、文本分割和篡改文本檢測任務上得到了廣泛驗證，顯著優(yōu)于現(xiàn)有的專門模型。

2.OCR大一統(tǒng)模型

• 將文檔圖像識別分析的各種任務定義為序列預測的形式
  文本，段落，版面分析，表格，公式等等
• 通過不同的prompt引導模型完成不同的OCR任務
• 支持篇章級的文檔圖像識別分析，輸出Markdown/HTML/Text等標準格式
• 將文檔理解相關的工作交給LLM去做

一個復雜的系統(tǒng)模型應該需要做到：

在輸入層，模型可以接收任何類型的文本文件作為輸入，包括Word文檔、PDF文檔等。這一層的主要任務是對原始文本數(shù)據(jù)進行預處理，為后續(xù)的處理階段準備數(shù)據(jù)。

處理層是模型的核心部分，它將對輸入的文本數(shù)據(jù)進行一系列的分析和操作，如分詞、語法分析、語義分析以及拼寫檢查等。這些處理步驟能幫助模型更好地理解和處理文本數(shù)據(jù)。

在輸出層，模型將對處理后的結果進行可視化展示，可以是以圖表、圖形、文字等形式。這一層的主要任務是將復雜的數(shù)據(jù)處理結果以易于理解的方式呈現(xiàn)給用戶。

盡管這個模型已經(jīng)實現(xiàn)了高效的數(shù)據(jù)處理，但它仍有進一步發(fā)展和優(yōu)化的空間。例如，可以探索如何更準確地識別和處理各種類型的文本數(shù)據(jù)，如何改進語法分析和語義理解的技術以提升模型的性能，以及如何設計和實現(xiàn)更有效的數(shù)據(jù)可視化方法以幫助用戶更好地理解和利用模型輸出的結果。這些方向的研究和發(fā)展將推動文本數(shù)據(jù)處理技術的進步，對許多領域都將產(chǎn)生深遠的影響。

合合信息基于SPTS的OCR大一統(tǒng)模型(SPTS v3)

SPTS 是一種創(chuàng)新的端到端文本檢測和識別方法，它顛覆了傳統(tǒng)的文本檢測和識別流程。傳統(tǒng)的方法通常將文本檢測和識別看作兩個獨立的任務，導致處理流程復雜且冗余。而SPTS將這兩個任務融為一體，將文本檢測和識別定義為圖片到序列的預測任務，極大地簡化了處理流程。另外，SPTS采用單點標注技術指示文本位置，這樣就可以極大地降低標注成本。同時，它無需RoI采樣和復雜的后處理操作，真正將檢測和識別融為一體。

將多種OCR任務定義為序列預測的形式，通過不同的prompt引導模型完成不同的OCR任務，模型沿用SPTS的CNN+TransformerEncoder+Transformer Decoder的圖片到序列的結構。

SPTS v3目前主要關注以下任務:端到端檢測識別、表格結構識別、手寫數(shù)學公式識別。

實驗結果表明，SPTSv3 在各個OCR任務上都取得了出色的性能，顯示了其在文檔圖像處理中的潛力。這為文檔圖像的多任務處理提供了一種高效的解決方案，有望應用于廣泛的應用領域，包括自動化文檔處理、文檔搜索和內容提取等。

3.文檔識別分析+LLM應用

檢索增強生成（RAG）和文檔問答是LLM在文檔領域最常見和最廣泛的應用之一
。

合合信息提出文檔識別分析+LLM應用解決方案

合合信息文檔圖像識別與分析產(chǎn)品

基于深度學習的方法，合合信息將文檔圖像切分為文本、圖形、公式、表格、印章等不同類型的內容區(qū)域，并分析區(qū)域之間的邏輯關系，讓機器更精準地確定文檔中的文字位置、字體、大小和排版方式，可以更好地理解文檔的結構和內容，并提取出有用的信息。

此外，合合信息表格結構解析方法在邏輯版面分析中利用自上而下的方法以及端到端圖像到標記的方法等，保證區(qū)域內容的完整性的同時，顯著提升檢測準確率。

版面分析是文檔圖像還原的核心，通過解決版面分析的痛點，合合信息將圖像文檔以數(shù)字化的手段更精準地轉化為文檔數(shù)據(jù)，應用于多種使用場景、提升工作效率。

四、總結

1.機遇與挑戰(zhàn)

• GPT4-V 為代表的多模態(tài)大模型技術極大的推進了文檔識別與分析領域的技術進展，也給傳統(tǒng)的IDP技術帶來了挑戰(zhàn)。

2.問題仍未消滅

• 大模型并沒有完全解決IDP領域面臨的問題，很多問題值得我們研究。

3.結合提升能力

• 如何結合大模型的能力，更好的解決IDP的問題，值得我們做更多的思考和探索。

4.合合信息聚焦文檔圖像領域，大有可為

• 合合信息的研究成果具有重要意義，同時這些成果和問題的探索也將為文檔圖像領域的發(fā)展提供新的思路和方向。

作為行業(yè)領先的人工智能及大數(shù)據(jù)科技企業(yè)，合合信息深耕智能文字識別、圖像處理、自然語言處理等領域，其研發(fā)的智能圖像處理技術等已落地并服務與各行業(yè)領域。未來，合合信息還將繼續(xù)在文檔圖像處理方向發(fā)力，讓新技術實現(xiàn)多場景應用。

文末粉絲福利

抽10人，每人50元京東卡：填問卷才可以抽哦→ 點此參與，12號開獎，快來參與吧。

文章來源地址http://www.zghlxwxcb.cn/news/detail-803303.html

到了這里，關于垂直領域大模型——文檔圖像大模型的思考與探索的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！