---

相信最近很多朋友關(guān)注的公眾號和短視頻號都有關(guān)于ChatGPT的文章或者視頻，對此我就不再過多描述“生成式人工智能”是促成ChatGPT落地的重要技術(shù)，“ChatGPT之父”阿爾特曼曾說：“我認(rèn)為我們離生成式人工智能還有一定距離。至于判斷標(biāo)準(zhǔn)，根據(jù)我過去五年甚至更長時(shí)間的觀察和思考，生成式人工智能的誕生是一個(gè)漸進(jìn)式過程（也就是所謂的“緩慢起飛”），而不會是某一清晰的時(shí)刻——至少不會是某個(gè)獲得公認(rèn)的清晰時(shí)刻?！?/p>

既然生成式人工智能的誕生是一個(gè)漸進(jìn)式過程，那么哪些領(lǐng)域場景將會逐漸展現(xiàn)出強(qiáng)大的人工智能適用性呢？在由中國圖象圖形學(xué)學(xué)會（CSIG）主辦，合合信息、CSIG文檔圖像分析與識別專業(yè)委員會聯(lián)合承辦的“CSIG圖像圖形企業(yè)行”活動中，我們得以思索一二。

此次活動以“圖文智能處理與多場景應(yīng)用技術(shù)展望”為主題，特邀來自上海交大、廈門大學(xué)、復(fù)旦大學(xué)、中科大的學(xué)者與合合信息技術(shù)團(tuán)隊(duì)一道，面向行內(nèi)研究者分享圖像文檔處理中的結(jié)構(gòu)建模、底層視覺技術(shù)、跨媒體數(shù)據(jù)協(xié)同應(yīng)用、生成式人工智能及對話式大型語言模型等研究及實(shí)踐成果。

一、生成式人工智能是否會是下一個(gè)風(fēng)口？

上海交通大學(xué)人工智能研究院楊小康院長在大會上分享了生成式人工智能與元宇宙為主題的技術(shù)研究。

1.何為生成式人工智能？

判別式人工智能是以“分析-識別”為基礎(chǔ)，開拓了目標(biāo)識別和分類回歸等一系列的研究應(yīng)用，而生成式人工智能則以“重建合成”方式用于生成各種形式的內(nèi)容。生成式人工智能是一種人工智能技術(shù)，可以學(xué)習(xí)大量數(shù)據(jù)并生成與原始數(shù)據(jù)類似的新數(shù)據(jù)。生成式人工智能通常使用神經(jīng)網(wǎng)絡(luò)或其他機(jī)器學(xué)習(xí)算法來學(xué)習(xí)數(shù)據(jù)的模式和規(guī)律，并使用這些模式和規(guī)律生成新的數(shù)據(jù)。與傳統(tǒng)的分類或回歸任務(wù)不同，生成式人工智能的目標(biāo)是生成新的數(shù)據(jù)而不是對現(xiàn)有數(shù)據(jù)進(jìn)行分類或回歸。

生成式人工智能通常有兩種主要的方法：基于概率模型的生成式模型和基于深度學(xué)習(xí)的生成式模型?；诟怕誓Ｐ偷纳墒侥Ｐ褪褂酶怕史植紒砻枋鰯?shù)據(jù)的生成過程，并從中抽樣生成新的數(shù)據(jù)。基于深度學(xué)習(xí)的生成式模型通常使用變分自編碼器（VAE）或生成對抗網(wǎng)絡(luò)（GAN）等深度學(xué)習(xí)模型來生成新的數(shù)據(jù)。這些模型可以從數(shù)據(jù)中學(xué)習(xí)到復(fù)雜的分布和模式，并使用這些分布和模式來生成新的數(shù)據(jù)。

2.生成式人工智能面臨的挑戰(zhàn)

生成式人工智能的應(yīng)用范圍非常廣泛，但它也面臨著一些挑戰(zhàn):

1. 數(shù)據(jù)不足：生成式人工智能需要大量的數(shù)據(jù)才能學(xué)習(xí)到數(shù)據(jù)的模式和規(guī)律，但在某些領(lǐng)域中，如醫(yī)療、金融等，數(shù)據(jù)的獲取和共享可能受到限制，因此可能會面臨數(shù)據(jù)不足的問題。

2. 模型不穩(wěn)定：生成式人工智能模型通常比傳統(tǒng)的分類或回歸模型更加復(fù)雜，因此可能會面臨模型不穩(wěn)定的問題，即同樣的輸入數(shù)據(jù)可能會生成不同的輸出數(shù)據(jù)。

3. 難以控制生成結(jié)果：生成式人工智能生成的數(shù)據(jù)通常是自動生成的，因此難以對其進(jìn)行控制，無法保證生成結(jié)果的準(zhǔn)確性和可靠性。

4. 生成結(jié)果可能不符合倫理和道德標(biāo)準(zhǔn)：生成式人工智能可能生成具有敏感性和爭議性的內(nèi)容，如虛假新聞、歧視性評論等，這可能會對社會和公眾產(chǎn)生負(fù)面影響。

5. 難以評估和驗(yàn)證：生成式人工智能生成的數(shù)據(jù)通常沒有明確的標(biāo)準(zhǔn)和指標(biāo)來評估其質(zhì)量和準(zhǔn)確性，因此難以進(jìn)行驗(yàn)證和評估。

針對這些挑戰(zhàn)，研究人員正在開發(fā)新的方法和技術(shù)來解決這些問題，如使用更加穩(wěn)定的模型結(jié)構(gòu)、引入更多的約束和先驗(yàn)知識來控制生成結(jié)果等。同時(shí)，加強(qiáng)倫理和道德標(biāo)準(zhǔn)的監(jiān)管和規(guī)范也是必要的。

3.生成式人工智能場景運(yùn)用

楊小康院長還分享了生成式世界模型以及生成式虛擬數(shù)字人，通過此類技術(shù)可以讓世界模型更逼近物理現(xiàn)實(shí): 表觀模擬到物理現(xiàn)象內(nèi)部機(jī)理去推斷，使得數(shù)字人更逼真、更通用:；在世界模型上訓(xùn)練智能體，可反哺真實(shí)世界中的決策過程，通過立體視覺渲染、多模態(tài)驅(qū)動、動態(tài)模擬技術(shù)實(shí)現(xiàn)數(shù)字人與世界模型交互。

此外，他還介紹了物理現(xiàn)象的視覺仿真與推理: 神經(jīng)流體研究上的一些突破進(jìn)展，以及世界模型的持續(xù)預(yù)測學(xué)習(xí)的挑戰(zhàn)和難點(diǎn)，世界模型表征解耦等學(xué)術(shù)研究?？偨Y(jié)為生成式人工智能為構(gòu)建基于視覺直覺的物理世界模型和虛擬數(shù)字人提供了可行的途徑。

此外生成式人工智能在各個(gè)領(lǐng)域都有廣泛的應(yīng)用：

1. 文本生成：生成式人工智能可以用來生成各種類型的文本，如新聞文章、小說、詩歌等。這項(xiàng)技術(shù)可以被應(yīng)用于自動化寫作、智能客服、智能推薦等場景中。

2. 圖像生成：生成式人工智能可以生成新的圖像，例如藝術(shù)風(fēng)格轉(zhuǎn)換、圖像修復(fù)、視頻超分辨率等。這項(xiàng)技術(shù)可以被應(yīng)用于電影制作、視頻游戲開發(fā)、產(chǎn)品設(shè)計(jì)等場景中。

3. 音頻生成：生成式人工智能可以生成各種類型的音頻，如音樂、人聲、環(huán)境聲音等。這項(xiàng)技術(shù)可以被應(yīng)用于音樂創(chuàng)作、語音合成、聲音修復(fù)等場景中。

4. 對話生成：生成式人工智能可以通過學(xué)習(xí)人類對話的模式和語言規(guī)律來生成對話。這項(xiàng)技術(shù)可以被應(yīng)用于智能客服、智能語音助手等場景中。

5. 視頻生成：生成式人工智能可以生成新的視頻內(nèi)容，例如視頻剪輯、視頻合成、視頻特效等。這項(xiàng)技術(shù)可以被應(yīng)用于電影制作、廣告制作、視頻游戲開發(fā)等場景中。

6. 3D模型生成：生成式人工智能可以生成各種類型的3D模型，如人物、建筑、汽車等。這項(xiàng)技術(shù)可以被應(yīng)用于產(chǎn)品設(shè)計(jì)、游戲開發(fā)、虛擬現(xiàn)實(shí)等場景中。

總之，生成式人工智能在各種場景中都有廣泛的應(yīng)用，可以幫助人類創(chuàng)造更多、更優(yōu)秀的內(nèi)容，并提高人類的生產(chǎn)力和創(chuàng)造力。

二、復(fù)雜圖文處理的未來發(fā)展將如何？

中國科學(xué)技術(shù)大學(xué)語音及語言信息處理國家工程研究中心副教授杜俊就團(tuán)隊(duì)在文檔結(jié)構(gòu)層次化重建領(lǐng)域的最新進(jìn)展進(jìn)行分享：如何讓機(jī)器像人一樣可以結(jié)合不同模態(tài)信號認(rèn)識理解世界。

1.更深層次的漢字解構(gòu)研究

基于部首建模的漢字識別、生成與評測，是一種利用漢字的組成部分（部首）來進(jìn)行漢字處理的方法。該方法可以應(yīng)用于漢字的識別、生成和評測等多個(gè)領(lǐng)域?？梢杂行岣咦R別的準(zhǔn)確率和速度，用于自動生成漢字書法字體，或者用于生成漢字組合成語言文字，如漢藏語、漢文蒙文等。

1. 基于部首建模的漢字識別、生成與評測的實(shí)現(xiàn)過程是一個(gè)基于數(shù)據(jù)、特征和模型的訓(xùn)練和應(yīng)用過程，需要涉及到數(shù)據(jù)處理、特征提取、模型訓(xùn)練、預(yù)測和優(yōu)化等多個(gè)方面的技術(shù)和方法。

2. 部首分解：將漢字按照部首進(jìn)行分解，得到每個(gè)漢字的部首組成部分。

3. 特征提?。簩γ總€(gè)部首進(jìn)行特征提取，例如提取每個(gè)部首的筆畫數(shù)、形狀、結(jié)構(gòu)等特征。

4. 模型訓(xùn)練：基于提取的特征，建立機(jī)器學(xué)習(xí)模型，例如支持向量機(jī)（SVM）、神經(jīng)網(wǎng)絡(luò)等模型，并利用已知的漢字?jǐn)?shù)據(jù)集進(jìn)行訓(xùn)練。

2.自動分析表格結(jié)構(gòu)

杜俊教授提出基于SEM的表格結(jié)構(gòu)識別，SEM（Structural Element Matching）是一種基于結(jié)構(gòu)元素匹配的表格結(jié)構(gòu)識別方法。該方法的原理是在表格識別過程中，將表格的結(jié)構(gòu)看作一種由多個(gè)結(jié)構(gòu)元素組成的結(jié)構(gòu)，并將每個(gè)結(jié)構(gòu)元素表示為一組特征，然后通過比對待識別表格和預(yù)定義的結(jié)構(gòu)元素庫中的結(jié)構(gòu)元素，來確定待識別表格的結(jié)構(gòu)和單元格內(nèi)容。

具體而言，SEM的步驟如下：

1. 預(yù)處理：對待識別表格進(jìn)行預(yù)處理，包括圖像二值化、去除表格線等。

2. 結(jié)構(gòu)元素庫構(gòu)建：構(gòu)建包含常見表格結(jié)構(gòu)元素的結(jié)構(gòu)元素庫，如表頭、行、列、合并單元格等。

3. 特征提取：對待識別表格中的每個(gè)像素點(diǎn)提取一組特征，如像素點(diǎn)的顏色、位置、大小、形狀等。

4. 結(jié)構(gòu)元素匹配：將待識別表格中的每個(gè)像素點(diǎn)的特征與結(jié)構(gòu)元素庫中的結(jié)構(gòu)元素進(jìn)行比對，找出與之最匹配的結(jié)構(gòu)元素。

5. 結(jié)構(gòu)元素組合：根據(jù)匹配結(jié)果，將結(jié)構(gòu)元素組合成表格的結(jié)構(gòu)和單元格內(nèi)容。

通過這樣的方式，SEM能夠?qū)Ρ砀襁M(jìn)行準(zhǔn)確的結(jié)構(gòu)和內(nèi)容識別，具有較高的準(zhǔn)確率和魯棒性。但是，該方法需要預(yù)定義結(jié)構(gòu)元素庫，因此對于不同類型和形式的表格，需要進(jìn)行相應(yīng)的結(jié)構(gòu)元素庫設(shè)計(jì)和優(yōu)化，這可能會帶來一定的挑戰(zhàn)。

3.更精細(xì)化的文檔解構(gòu)模型

杜俊教授提還出現(xiàn)階段文檔分析任務(wù)中，大多數(shù)研究是針對單頁內(nèi)的文章要素的解析，但從內(nèi)容角度看，許多文檔頁與頁之間內(nèi)容有關(guān)聯(lián)。該方法的原理是利用預(yù)訓(xùn)練的語言模型（如BERT、GPT等）對篇章級的文檔進(jìn)行編碼和表示，然后使用相應(yīng)的解碼器將文檔中的每個(gè)句子或段落與相應(yīng)的結(jié)構(gòu)類型（如標(biāo)題、正文、列表等）進(jìn)行匹配和分類。在這個(gè)過程中，模型通常會利用上下文信息、語法規(guī)則和語義知識等多個(gè)方面的信息，以提高分類的準(zhǔn)確性和魯棒性。

具體而言，該方法的步驟如下：

1. 預(yù)處理：對篇章級的文檔進(jìn)行預(yù)處理，如分句、分段、去除停用詞等。

2. 文檔編碼：使用預(yù)訓(xùn)練的語言模型對文檔中的每個(gè)句子或段落進(jìn)行編碼，得到其語義表示。

3. 結(jié)構(gòu)類型分類：將文檔中的每個(gè)句子或段落與相應(yīng)的結(jié)構(gòu)類型（如標(biāo)題、正文、列表等）進(jìn)行匹配和分類，通常使用基于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的分類器來實(shí)現(xiàn)。

4. 結(jié)構(gòu)化輸出：將分類結(jié)果轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)，如HTML、XML或JSON等格式，以便進(jìn)行自動化處理和分析。

這種方法的優(yōu)點(diǎn)在于可以將篇章級的文檔轉(zhuǎn)化為結(jié)構(gòu)化的數(shù)據(jù)，使得文本數(shù)據(jù)的自動化處理和分析變得更加容易和高效。但是，該方法需要大量的標(biāo)注數(shù)據(jù)和計(jì)算資源來訓(xùn)練和優(yōu)化模型，因此對于某些場景可能不太適用。

三、人工智能結(jié)合機(jī)器視覺又會在圖文處理有何種突破？

1.底層視覺與圖像掃描的結(jié)合

底層視覺（Low-level vision）主要研究如何提高或恢復(fù)各類場景下的圖像/視頻內(nèi)容，如清晰度提升，低質(zhì)量及破損圖像恢復(fù)等，是計(jì)算機(jī)視覺領(lǐng)域的重要研究方向之一。其理論和方法在手機(jī)圖像采集與處理，醫(yī)療圖像分析等領(lǐng)域發(fā)揮著至關(guān)重要的作用。底層視覺技術(shù)的缺陷將會導(dǎo)致很多high-level視覺系統(tǒng)（檢測，識別理解）難以作為成熟產(chǎn)品真正落地。合合信息郭豐俊博士在本次報(bào)告中，分享了合合信息技術(shù)團(tuán)隊(duì)在文檔圖像處理系統(tǒng)中所做的底層視覺研究工作，從底層視覺技術(shù)的直接應(yīng)用及對下游任務(wù)的影響等方面，闡述底層視覺技術(shù)在文檔圖像處理/識別場景下的價(jià)值與思考。

2.文檔處理與人工智能的結(jié)合

文檔處理與人工智能的結(jié)合，是指將人工智能技術(shù)應(yīng)用于文檔處理領(lǐng)域，通過自然語言處理、圖像識別、機(jī)器學(xué)習(xí)等技術(shù)，對文檔進(jìn)行自動化處理和分析。

具體而言，文檔處理與人工智能的結(jié)合可以實(shí)現(xiàn)以下功能：

1. 文本識別：通過圖像識別技術(shù)，將紙質(zhì)文檔或掃描件轉(zhuǎn)化為可編輯的文本格式，以便進(jìn)行后續(xù)處理和分析。

2. 文本分類：通過機(jī)器學(xué)習(xí)技術(shù)，將文本按照特定的分類方式進(jìn)行自動分類，如按主題、按語言、按情感等。

3. 信息抽?。和ㄟ^自然語言處理技術(shù)，從文本中自動抽取出特定的信息，如人名、地名、時(shí)間等，以便進(jìn)行自動化處理和分析。

4. 文本摘要：通過自然語言處理技術(shù)，將長篇文本自動化地進(jìn)行摘要，提取出其中的關(guān)鍵信息，以便瀏覽和閱讀。

5. 文檔翻譯：通過自然語言處理技術(shù)，將文檔進(jìn)行自動翻譯，實(shí)現(xiàn)多語言文檔的處理和分析。

6. 知識圖譜：通過自然語言處理和圖譜技術(shù)，將文檔中的知識點(diǎn)提取出來，并將其構(gòu)建為知識圖譜，以便進(jìn)行知識管理和分析。

文檔處理與人工智能的結(jié)合，可以實(shí)現(xiàn)對大量文檔的自動化處理和分析，提高工作效率和準(zhǔn)確性，降低人力成本和時(shí)間成本，對于企業(yè)的知識管理和業(yè)務(wù)分析具有重要的意義。

合合信息智能文檔處理技術(shù)采用精準(zhǔn)的圖像裁剪、形變矯正以及去除陰影和摩爾紋等技術(shù)，利用人工智能技術(shù)對文檔圖像進(jìn)行增強(qiáng)和清晰度提升，從而提高文檔圖像的質(zhì)量和閱讀體驗(yàn)。通過這種方法，可以有效提升文檔處理下游任務(wù)的質(zhì)量和效率，例如識別轉(zhuǎn)換和圖像分析等。目前，該技術(shù)已經(jīng)被應(yīng)用于智能文字識別產(chǎn)品，為來自全球上百個(gè)國家和地區(qū)的數(shù)億用戶提供了服務(wù)。

四.活動展望總結(jié)

根據(jù)眾位學(xué)術(shù)技術(shù)大咖的分享來看，未來圖文智能處理的發(fā)展將會更加智能化、自動化和可定制化。具體來說，未來的圖文智能處理技術(shù)將會更加注重生成式人工智能技術(shù)的應(yīng)用，例如深度學(xué)習(xí)、自然語言處理、計(jì)算機(jī)視覺等。這將使得處理效果更加準(zhǔn)確和高效。同時(shí)，未來的圖文智能處理技術(shù)將會更加自動化，例如自動識別文檔類型、自動分類文檔、自動提取文檔信息等，這將進(jìn)一步提高文檔處理的效率和準(zhǔn)確性。此外，未來的圖文智能處理技術(shù)也將會更加可定制化，根據(jù)不同的行業(yè)和應(yīng)用場景，為客戶提供量身定制的解決方案。這將有助于滿足客戶的不同需求，提升客戶的體驗(yàn)和滿意度。 文章來源地址http://www.zghlxwxcb.cn/news/detail-781092.html