一、簡述

????????本文的目標是了解自然語言處理 (NLP) 的歷史，包括 Transformer 體系結構如何徹底改變該領域并幫助我們創(chuàng)建大型語言模型 (LLM)。

????????基礎模型（如 GPT-4）是最先進的自然語言處理模型，旨在理解、生成人類語言并與之交互。 要理解基礎模型的重要性，有必要探索它們的起源，它們源于人工智能和自然語言處理領域的進步。

????????自然語言處理 (NLP) 是一種專注于理解、解釋和生成人類語言的 AI。 一些常見 NLP 用例包括：

?????????語音轉文本和文本轉語音的轉換。 例如，生成視頻字幕。

????????機器翻譯。 例如，將文本從英語翻譯為日語。

????????文本分類。 例如，將電子郵件標記為垃圾郵件或非垃圾郵件。

????????實體提取。 例如，從文檔中提取關鍵字或名稱。

????????問題解答。 例如，提供“法國的首都是哪里？”等問題的答案

????????文本摘要。 例如，根據(jù)多頁文檔生成一個簡短的單段摘要。

從歷史上看，NLP 一直具有挑戰(zhàn)性，因為我們的語言很復雜，計算機很難理解文本。

二、用于NLP的統(tǒng)計技術

????????過去幾十年，自然語言處理?(NLP) 領域取得了多項技術成果，實現(xiàn)了大型語言模型?(LLM)。為了了解 LLM，我們先來了解過去一段時間內(nèi)為當前技術做出貢獻的 NLP 統(tǒng)計技術。

????????由于 NLP 側重于理解和生成文本，因此實現(xiàn) NLP 時的大多數(shù)首次嘗試都基于語言固有的規(guī)則和結構。 特別是在機器學習技術流行之前，采用的主要方法是結構化模型和形式化語法。

????????這些方法依賴于語言規(guī)則和語法模式的顯式編程來處理和生成文本。 盡管這些模型可以合理地處理某些特定語言任務，但在面對自然語言的巨大復雜性和可變性時，它們面臨著重大挑戰(zhàn)。

????????20 世紀 90 年代，研究人員開始利用統(tǒng)計和概率模型直接從數(shù)據(jù)中學習模式和表示形式，而不是硬編碼規(guī)則。

1、了解分詞

????????如你所料，計算機很難破譯文本，因為它們主要依賴于數(shù)字。 因此，為了讀取文本，我們需要將呈現(xiàn)的文本轉換為數(shù)字。

????????使計算機能夠更輕松地處理文本的一個重要技術發(fā)展是詞匯切分。?標記是具有已知含義的字符串，通常表示一個字詞。?詞匯切分將字詞轉換為標記，然后再轉換為數(shù)字。 詞匯切分的統(tǒng)計方法是使用管道：

????????首先選擇要標記的文本。 根據(jù)規(guī)則拆分文本中的字詞。 例如，拆分含空格的字詞。 詞干分解。 通過刪除字詞的末尾來合并類似字詞。 停止字詞刪除。 刪除沒有意義的干擾詞（如 the 和 a）。 提供了這些字詞的字典，以在結構上將它們從文本中刪除。 為每個唯一標記分配一個數(shù)字。 允許標記文本的詞匯切分。 因此，統(tǒng)計技術可用于讓計算機在數(shù)據(jù)中查找模式，而不是應用基于規(guī)則的模型。

2、NLP 統(tǒng)計技術

????????實現(xiàn) NLP 的兩大重要進展都使用了統(tǒng)計技術：Na?ve Bayes?和詞頻–逆向文檔頻率?(TF-IDF)。

了解 Na?ve Bayes

????????Na?ve Bayes?是一項統(tǒng)計技術，最初用于電子郵件篩選。 為了了解垃圾郵件和非垃圾郵件之間的區(qū)別，將兩個文檔進行比較。 Na?ve Bayes 分類器標識哪些標記與標記為垃圾郵件的電子郵件相關聯(lián)。 換句話說，該技術會找出哪組字詞僅出現(xiàn)在一種類型的文檔中，但未出現(xiàn)在另一種類型的文檔中。 字詞組通常稱為詞袋功能。

????????例如，與常規(guī)電子郵件相比，有關可疑健康產(chǎn)品的垃圾郵件中?miracle cure、lose weight fast?和?anti-aging?的出現(xiàn)頻率可能更高。

????????雖然現(xiàn)已證實 Na?ve Bayes 比簡單的基于規(guī)則的文本分類模型更有效，但它仍然相對簡單，因為只考慮了字詞或標記是否存在，但沒有考慮位置。

了解 TF-IDF

????????詞頻–逆向文檔頻率?(TF-IDF) 技術具有類似的方法，即將一個文檔中字詞出現(xiàn)的頻率與整個文檔語料庫中字詞出現(xiàn)的頻率進行比較。 通過了解字詞的使用上下文，可以基于某些主題對文檔進行分類。 TF-IDF 通常用于信息檢索，以幫助了解要搜索的相關字詞或標記。

????????例如，字詞?flour?通常出現(xiàn)在包含烘焙食譜的文檔中。 如果搜索含?flour?的文檔，也可以檢索到包含?baking?的文檔，因為這些字詞經(jīng)常在文本中一起使用。

????????事實證明，TF-IDF 對于搜索引擎了解文檔與某人的搜索查詢的相關性非常有用。 但是，TF-IDF 技術不考慮字詞之間的語義關系。 不會檢測同義詞或具有類似含義的字詞。

????????盡管統(tǒng)計技術是 NLP 領域中寶貴的技術成果，但深度學習技術取得了必要的創(chuàng)新，從而實現(xiàn)了當前擁有的 NLP 水平。

三、用于NLP的深度學習技術

????????統(tǒng)計技術在文本分類等自然語言處理?(NLP) 任務中表現(xiàn)相對較好。 對于翻譯等任務，仍有很大的改進空間。

????????最近，深度學習技術推動了自然語言處理?(NLP) 領域在翻譯等任務方面的發(fā)展。

????????當你要翻譯文本時，不應只將每個字詞翻譯為另一種語言。 你可能還記得多年前的翻譯服務，它們翻譯的句子過于直白，常常導致有趣的結果。 相反，你希望語言模型能夠理解文本的含義（或語義），并使用該信息在目標語言中創(chuàng)建語法正確的句子。

1、了解字詞嵌入

????????將深度學習技術應用于 NLP 時引入的一個關鍵概念是字詞嵌入。 字詞嵌入解決了無法定義字詞之間的語義關系的問題。

????????在字詞嵌入之前，NLP 的一個普遍挑戰(zhàn)是檢測字詞之間的語義關系。 字詞嵌入會表示矢量空間中的字詞，以便可以輕松描述和計算字詞之間的關系。

????????字詞嵌入是在自我監(jiān)督學習期間創(chuàng)建的。 在訓練過程中，模型會分析句子中字詞的共現(xiàn)模式，并學習將它們表示為矢量。 矢量可在多維空間中用坐標表示字詞。 然后，可以通過確定相對矢量之間的距離來計算字詞之間的距離，并描述字詞之間的語義關系。

????????假設你要使用大量文本數(shù)據(jù)集訓練一個模型。 在訓練過程中，該模型發(fā)現(xiàn)字詞“bike”和“car”通常用于相同的字詞模式中。 除了在相同的文本中發(fā)現(xiàn)“bike”和“car”之外，你還可以發(fā)現(xiàn)它們都用于描述類似的事物。 例如，有人可能會駕駛“bike”或“car”，或者在商店購買“bike”或“car”。

????????模型了解到，這兩個字詞通常位于類似的上下文中，于是它會在矢量空間中將?bike?和?car?的字詞向量繪制得靠近彼此。

????????假設我們有一個三維矢量空間，其中每個維度對應一個語義特征。 在本例中，假設維度表示車輛類型、運輸方式、活動等因素。 然后，我們可以根據(jù)字詞的語義關系將假設的矢量分配給字詞：

1. Boat?[2, 1, 4] 靠近“drive”和“shop”，表示你可以駕駛船只和游覽水域附近的商店。
2. Car?[7, 5, 1] 離“bike”比“boat”更近，因為汽車和自行車都用于陸地而不是水上。
3. Bike?[6, 8, 0] 在活動維度中更靠近“drive”，在車輛類型維度中靠近“car”。
4. Drive?[8, 4, 3] 靠近“boat”、“car”、“bike”，但遠離“shop”，因為它描述的是不同類型的活動。
5. Shop?[1, 3, 5] 離“bike”最近，因為這些字詞最常一起使用。

????????盡管字詞嵌入是檢測字詞之間的語義關系的一種很好的方法，但它仍然存在問題。 例如，具有不同意向的字詞（如?love?和?hate）通常會顯示為相關，因為它們用于類似的上下文中。 另一個問題是，模型對每個字詞只使用一個條目，導致具有不同含義的字詞（例如?bank）會在語義上與大量字詞相關。

2、將記憶添加到 NLP 模型

????????理解文本不僅僅是理解單獨呈現(xiàn)的單個字詞。 字詞的含義可能有所不同，具體取決于它們所處的上下文。 換句話說，字詞周圍的句子會影響字詞的含義。

使用 RNN 包含字詞的上下文

????????在深度學習之前，包含字詞的上下文是一項過于復雜且成本高昂的任務。 在包含上下文方面的第一個突破是循環(huán)神經(jīng)網(wǎng)絡?(RNN)。

????????RNN 由多個連續(xù)步驟組成。 每個步驟可接受一個輸入和一個隱藏狀態(tài)。 假設每個步驟中的輸入是一個新字詞。 每個步驟還會生成一個輸出。 隱藏狀態(tài)可用作網(wǎng)絡的記憶，用于存儲上一步的輸出并將其作為輸入傳遞給下一步。

????????假設有一個句子是這樣的：

????????Vincent Van Gogh was a painter most known for creating stunning and emotionally expressive artworks, including ...

????????要知道下一個詞是什么，你需要記住畫家的名字。 該句子需要補全，因為最后一個詞是缺失的。 NLP 任務中缺失或掩蓋的字詞通常用?[MASK]?表示。 通過在句子中使用特殊的?[MASK]?標記，可以讓語言模型知道它需要預測缺失的標記或值是什么。

????????簡化示例句子后，可以為 RNN 提供以下輸入：Vincent was a painter known for [MASK]：

????????RNN 將每個標記作為輸入，對其進行處理，并使用該標記的記憶更新隱藏狀態(tài)。 將下一個標記作為新輸入進行處理時，將更新上一步中的隱藏狀態(tài)。

????????最終，最后一個標記作為輸入傳遞給模型，即?[MASK]?標記。 指示缺少信息，并且模型需要預測其值。 然后，RNN 會使用隱藏狀態(tài)來預測出輸出應類似于?Starry Night

????????在示例中，隱藏狀態(tài)包含信息?Vincent、is、painter、know。 使用 RNN 時，每個標記在隱藏狀態(tài)下都同等重要，因此在預測輸出時它們會得到同等的考量。

????????RNN 使得在解讀字詞相對于完整句子的含義時能夠包含上下文。 但是，隨著 RNN 的隱藏狀態(tài)隨每個標記而更新，實際的相關信息（或信號）可能會丟失。

????????在提供的示例中，文森特·梵高的名字在句子的開頭，而掩碼在末尾。 在最后一步，當掩碼作為輸入傳遞時，隱藏狀態(tài)可能包含大量與預測掩碼的輸出無關的信息。 由于隱藏狀態(tài)的大小有限，相關信息甚至可能會被刪除，以便為新的和更近期的信息騰出空間。

????????當我們讀到這句話時，我們知道只有某些字詞對于預測最后一個字詞是必不可少的。 但是，RNN 會包含處于隱藏狀態(tài)的所有（相關和不相關的）信息。 因此，相關信息可能會在隱藏狀態(tài)下成為弱信號，這意味著它可能會被忽略，因為有太多其他無關的信息在影響著模型。

通過長短期記憶改進 RNN

????????針對 RNN 的弱信號問題的一個解決方案是一種更新型的 RNN：長短期記憶?(LSTM)。 LSTM 能夠通過維護在每步中更新的隱藏狀態(tài)來處理序列數(shù)據(jù)。 使用 LSTM 時，模型可以決定要記住的內(nèi)容和要忘記的內(nèi)容。 這樣一來，可以跳過不相關或不提供重要信息的上下文，并且可以將重要信號保存更長時間。

四、用于NLP的Transformer結構

????????自然語言處理 (NLP) 的突破歸功于 Transformer 體系結構的開發(fā)。 Transformer 是在 2017 年 Vaswani 等人撰寫的《Attention is all you need》（注意力是你所需要的一切）論文中引入的。 Transformer 體系結構提供了遞歸神經(jīng)網(wǎng)絡 (RNNS) 執(zhí)行 NLP 的替代方法。 RNN 按順序處理字詞，因此是計算密集型的，而 Transformer 不按順序處理字詞，而是使用注意力 (attention) 獨立地并行處理每個字詞。 字詞的位置和在句子中的順序對于理解文本含義來說很重要。 為了包含此信息而不必按順序處理文本，Transformer 使用了位置編碼。

1、了解位置編碼

????????在 Transformer 推出之前，語言模型使用詞嵌入來將文本編碼為向量。 在 Transformer 體系結構中，使用了位置編碼來將文本編碼為向量。 位置編碼是詞嵌入向量和位置向量之和。 通過這樣做，編碼后的文本包含有關字詞的含義及其在句子中的位置的信息。

????????若要對字詞在句子中的位置進行編碼，可使用單個數(shù)字來表示索引值。 例如：

????????文本或序列越長，索引值可能就越大。 雖然對文本中的每個位置使用唯一值是一種簡單的方法，但值沒有任何含義，并且在模型訓練期間，值的增大可能會導致不穩(wěn)定。 《Attention is all you need》論文中提出的解決方案是使用正弦和余弦函數(shù)，其中 pos 表示位置，i 表示維度：

????????結合使用這些周期函數(shù)進行創(chuàng)建時，可以為每個位置創(chuàng)建唯一的向量。 這樣的話，值在一個范圍內(nèi)，并且當編碼較大的文本時，索引不會變大。 此外，這些位置向量使模型能夠更輕松地計算和比較句子中不同字詞的位置。

2、了解多頭注意力

????????Transformer 用于處理文本的最重要技術是使用注意力而不是遞歸。 注意力也稱為自注意力或內(nèi)部注意力，這種機制用于將新信息映射到已學習的信息，以了解新信息需要什么。

????????Transformer 使用注意力函數(shù)，其中新字詞使用位置編碼進行了編碼，并表示為查詢。 已編碼的字詞的輸出是具有關聯(lián)值的鍵。 為了說明注意力函數(shù)使用的三個變量（查詢、鍵和值），讓我們來看看一個簡化的示例。 假設對句子 Vincent van Gogh is a painter, known for his stunning and emotionally expressive artworks. 進行編碼。對查詢 Vincent van Gogh 進行編碼時，輸出可能將 Vincent van Gogh 用作鍵，將 painter 用作關聯(lián)值。 該體系結構將鍵和值存儲在表中，將來解碼時可使用該表：

????????每次顯示新句子時，例如?Shakespeare's work has influenced many movies, mostly thanks to his work as a ...， 模型都可將?Shakespeare?作為查詢，并在鍵值表中查找此內(nèi)容來補全句子。?Shakespeare?查詢最接近?William Shakespeare?鍵，因此關聯(lián)值?playwright?顯示為輸出。

3、使用縮放點積來計算注意力函數(shù)

????????為了計算注意力函數(shù)，查詢、鍵和值都編碼為向量。 然后，注意力函數(shù)計算查詢向量和鍵向量之間的縮放點積。

????????點積計算表示標記的向量之間的角度，當向量對齊程度更高時，積越大。 softmax 函數(shù)在注意力函數(shù)中對向量的縮放點積使用，來創(chuàng)建具有可能結果的概率分布。 換句話說，softmax 函數(shù)的輸出中顯示了哪些鍵最接近查詢。 然后選擇概率最高的鍵，關聯(lián)值是注意力函數(shù)的輸出。

????????Transformer 體系結構使用多頭注意力，這意味著標記由注意力函數(shù)多次并行處理。 這樣做，可通過各種方式處理處理字詞或句子，以便從句子中提取不同類型的信息。

4、Transformer 體系結構

????????在《Attention is all you need》論文中，推薦的 Transformer 體系結構建模如下：

????????原始 Transformer 體系結構中主要有兩個組件：

????????編碼器：負責處理輸入序列，并創(chuàng)建捕獲每個標記的上下文的表示形式。

????????解碼器：通過關注編碼器的表示形式并預測序列中的下一個標記，生成輸出序列。

????????在 Transformer 體系結構中，最重要的創(chuàng)新是位置編碼和多頭注意力。 側重于這兩個組件的體系結構的簡化表示形式可能如下所示：

????????在編碼器層中，輸入序列使用位置編碼進行編碼，之后使用多頭注意力來創(chuàng)建文本的表示形式。

????????在解碼器層中，（不完整的）輸出序列以類似的方式進行編碼，方法是先使用位置編碼，然后使用多頭注意力。 然后，在解碼器中再次使用多頭注意力機制，來合并編碼器的輸出和已編碼的輸出序列的輸出（該序列的輸出作為輸入傳遞到編碼器部分）。 這樣，就可以生成輸出。

???????? Transformer 體系結構引入的概念極大地提高了模型理解和生成文本的能力。 已經(jīng)采用了 Transformer 體系結構來訓練不同的模型，以便針對特定 NLP 任務進行優(yōu)化。

????????Transformer 體系結構讓我們可以更高效地為自然語言處理 (NLP) 訓練模型。 注意力機制不處理句子或序列中的每個標記，而是使模型以各種方式并行處理標記。

????????若要使用 Transformer 體系結構訓練模型，需要使用大量文本數(shù)據(jù)作為輸入。不同的模型被訓練出來，這些模型主要的不同點在于訓練使用的數(shù)據(jù)或它們在體系結構中實現(xiàn)注意力機制的方式。 由于模型是通過大型數(shù)據(jù)集訓練的，并且模型本身的大小很大，因此它們通常被稱為大型語言模型 (LLM)。

????????許多 LLM 都是開源的，可通過 Hugging Face 等社區(qū)公開獲取。很多云服務商還提供了最常用的 LLM 作為基礎模型。基礎模型是通過大型文本預先訓練的，可以通過相對較小的數(shù)據(jù)集針對特定任務進行微調。文章來源地址http://www.zghlxwxcb.cn/news/detail-856905.html

到了這里，關于自然語言處理 (NLP) 的技術演變史的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網(wǎng)！