1. 認(rèn)知語(yǔ)言學(xué)：認(rèn)知科學(xué)（cognitive science）與語(yǔ)言學(xué)交 叉的一個(gè)研究分支，是研究人腦的思維、心智、智能、推理和認(rèn)識(shí)等認(rèn)知機(jī)理及其對(duì)語(yǔ)言進(jìn) 行分析和理解過(guò)程的一門(mén)學(xué)問(wèn)
2. 語(yǔ)言認(rèn)知計(jì)算模型：
   1. 刻畫(huà)人腦語(yǔ)言認(rèn)知和理解過(guò)程的形式化模型
   2. 目的：建立可計(jì)算的、復(fù)雜度可控的數(shù)學(xué)模型，以便在計(jì)算機(jī)系 統(tǒng)上實(shí)現(xiàn)對(duì)人腦語(yǔ)言理解過(guò)程的模擬
   3. ?實(shí)現(xiàn)所謂的“類腦語(yǔ)言信息處理”
      1. 人腦處理語(yǔ)言的認(rèn)知機(jī)理：通過(guò)采集分析在某種語(yǔ)言環(huán)境下人腦的生理數(shù)據(jù)，研究人腦對(duì)語(yǔ)音、詞匯、句法 和語(yǔ)義的理解機(jī)理
      2. 語(yǔ)言處理過(guò)程至少涉及兩種并行的過(guò)程:
         1. 語(yǔ)義記憶：負(fù)責(zé)檢索單詞間 的語(yǔ)義特征、關(guān)聯(lián)和語(yǔ)義關(guān)系
         2. 語(yǔ)義組合：至少有一個(gè)通路 負(fù)責(zé)將單詞整合形成更高級(jí)的含義
3. 深度神經(jīng)網(wǎng)絡(luò)與自然語(yǔ)言處理：
   1. 在神經(jīng)網(wǎng)絡(luò)模型中融合記憶模塊和注意力機(jī)制成為了研究的趨勢(shì)
   2. 任務(wù)大多解決的是“處理”層面的問(wèn)題，如 邊界的切分、語(yǔ)音信號(hào)到文字的轉(zhuǎn)換等，而上升到“語(yǔ)義理解”的層面還有太多的 問(wèn)題，如正確理解一幅圖像所包含的語(yǔ)義和情感等，仍是極具有挑戰(zhàn)性的問(wèn)題。
4. 人類語(yǔ)言需結(jié)合一 定的上下文和知識(shí)才能理解
5. 語(yǔ)言具有一定的層次結(jié)構(gòu)，具體表現(xiàn)為 詞、短語(yǔ)、句子、段落以及篇章等不同的語(yǔ)言粒度。為了讓計(jì)算機(jī)可以理解語(yǔ)言，需要將不 同粒度的語(yǔ)言都轉(zhuǎn)換成計(jì)算機(jī)可以處理的數(shù)據(jù)結(jié)構(gòu)。
   1. 連續(xù)表示:
      1. 為了解決離散表示所無(wú)法解決的““一詞多義”和“一義多詞”問(wèn)題
      2. 將語(yǔ)言單位表示為連續(xù)語(yǔ)義空間中的一個(gè)點(diǎn)，這樣的表示方法稱之為連續(xù)表示
      3. 基于連續(xù)表示，詞與詞之間 就可以通過(guò)歐式距離或余弦距離等方式來(lái)計(jì)算相似度
      4. 常用方法:
         1. 分布式表示：基于 Harris 的分布式假設(shè)，即如果兩個(gè)詞的上下文相似，那么這兩個(gè)詞也是相似的。
         2. 分散式表示（主流方法）：
            1. 將語(yǔ)言的潛在語(yǔ)法或語(yǔ)義特征分散式地存儲(chǔ)在一組神經(jīng)元中，可以用稠密、低維、連續(xù)的向量來(lái)表示，也叫嵌入（Embeddings）。
            2. 一個(gè)好的詞嵌入模型應(yīng)該是：對(duì)于 相似的詞，它們對(duì)應(yīng)的詞嵌入也相近
   2. 根據(jù)所表示文本的顆粒度的不同，可以分為詞、句子、篇章的表示：
      1. 詞表示：Word embeddings：
         1. 詞嵌 入的質(zhì)量非常依賴于上下文窗口大小的選擇
         2. 有研究者關(guān)注如何利用已有的知識(shí)庫(kù)來(lái)改進(jìn)詞嵌入模型，結(jié)合知識(shí)圖譜 和未標(biāo)注語(yǔ)料在同一語(yǔ)義空間中來(lái)聯(lián)合學(xué)習(xí)知識(shí)和詞的向量表示，這樣可以更有效地實(shí)現(xiàn)詞 的嵌入
      2. 句子表示：
         1. 很多任務(wù)的輸入是變長(zhǎng)的文本序列，需要將變長(zhǎng)的文本序列表示成固定長(zhǎng)度的向量
         2. 句子編碼主要研究如何有效地從詞嵌入通過(guò)不同 方式的組合得到句子表示
         3. 神經(jīng)詞袋模型：
            1. 簡(jiǎn)單對(duì)文本序列中每個(gè)詞嵌入進(jìn)行平均，作為整個(gè)序列的表示
            2. 缺點(diǎn)：丟失了詞序信息
            3. 對(duì)于長(zhǎng)文本，神經(jīng)詞袋模型比較有效。但是對(duì)于短文本， 神經(jīng)詞袋模型很難捕獲語(yǔ)義組合信息
         4. 遞歸神經(jīng)網(wǎng)絡(luò)（Recursive Neural Network）：
            1. 按照一個(gè)給定的外部拓?fù)?結(jié)構(gòu)（比如成分句法樹(shù)），不斷遞歸得到整個(gè)序列的表示
            2. 缺點(diǎn)：需要 給定一個(gè)拓?fù)浣Y(jié)構(gòu)來(lái)確定詞和詞之間的依賴關(guān)系，因此限制其使用范圍
         5. 循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network）：將文本序列看作時(shí)間序列，不 斷更新，最后得到整個(gè)序列的表示
         6. 卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）：”通過(guò)多個(gè)卷積層和子采樣 層，最終得到一個(gè)固定長(zhǎng)度的向量。
         7. 改進(jìn)：
            1. 綜合這些方法的優(yōu)點(diǎn)，結(jié)合具體的任務(wù)，已 經(jīng) 提出了一些更復(fù)雜的組合模型， 例如 雙向循環(huán)神經(jīng) 網(wǎng)絡(luò) （ Bi-directional Recurrent Neural Network）、長(zhǎng)短時(shí)記憶模型（Long-Short Term Memory）等。
            2. 比如近幾年大熱的Attention機(jī)制、Transformer以及Bert模型
      3. 篇章表示：
         1. 思想：層次化的方法，先得到句子編碼，然后以句子編碼為輸入，進(jìn)一步得到篇章的表示
         2. 層次化CNN：用卷積神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)句子進(jìn)行建模，然后以 句子為單位再進(jìn)行一次卷積和池化操作，得到篇章表示
         3. 層次化RNN：用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)句子進(jìn)行建模，然后再用一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)建模以句子為單位的序列，得到篇章表示
         4. 混合模型：先用循環(huán)神經(jīng)網(wǎng)絡(luò)對(duì)每個(gè)句子進(jìn)行建模，然后以句子為單位再進(jìn)行 一次卷積和池化操作，得到篇章表示
         5. 循環(huán)神經(jīng)網(wǎng)絡(luò)因?yàn)榉浅＿m合處理文本 序列，因此被廣泛應(yīng)用在很多自然語(yǔ)言處理任務(wù)上。

文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-498110.html

到了這里，關(guān)于語(yǔ)言認(rèn)知模型--的學(xué)習(xí)筆記的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！