目錄
NLP 為什么重要？
什么是自然語言處理 – NLP
NLP 的2大核心任務(wù)
自然語言理解 – NLU|NLI
自然語言生成 – NLG
NLP(自然語言處理) 的5個難點
NLP 的4個典型應(yīng)用
NLP 的 2 種途徑、3 個核心步驟
總結(jié)
自然語言處理
NLP 為什么重要？
“語言理解是人工智能領(lǐng)域皇冠上的明珠”
比爾·蓋茨
在人工智能出現(xiàn)之前，機器智能處理結(jié)構(gòu)化的數(shù)據(jù)（例如 Excel 里的數(shù)據(jù)）。但是網(wǎng)絡(luò)中大部分的數(shù)據(jù)都是非結(jié)構(gòu)化的，例如：文章、圖片、音頻、視頻…
?
在非結(jié)構(gòu)數(shù)據(jù)中，文本的數(shù)量是最多的，他雖然沒有圖片和視頻占用的空間大，但是他的信息量是最大的。
為了能夠分析和利用這些文本信息，我們就需要利用 NLP 技術(shù)，讓機器理解這些文本信息，并加以利用。
什么是自然語言處理 – NLP
每種動物都有自己的語言，機器也是！
自然語言處理（NLP）就是在機器語言和人類語言之間溝通的橋梁，以實現(xiàn)人機交流的目的。
人類通過語言來交流，狗通過汪汪叫來交流。機器也有自己的交流方式，那就是數(shù)字信息。
?
不同的語言之間是無法溝通的，比如說人類就無法聽懂狗叫，甚至不同語言的人類之間都無法直接交流，需要翻譯才能交流。
而計算機更是如此，為了讓計算機之間互相交流，人們讓所有計算機都遵守一些規(guī)則，計算機的這些規(guī)則就是計算機之間的語言。
既然不同人類語言之間可以有翻譯，那么人類和機器之間是否可以通過“翻譯”的方式來直接交流呢？
NLP 就是人類和機器之間溝通的橋梁！
?
為什么是“自然語言”處理？
自然語言就是大家平時在生活中常用的表達方式，大家平時說的「講人話」就是這個意思。
自然語言：我背有點駝(非自然語言：我的背部呈彎曲狀)
自然語言：寶寶的經(jīng)紀人睡了寶寶的寶寶（微博上這種段子一大把）
NLP 的2大核心任務(wù)
?
NLP 有2個核心的任務(wù)：
- 自然語言理解 - NLU| NLI
- 自然語言生成 - NLG
自然語言理解 – NLU|NLI
自然語言理解就是希望機器像人一樣，具備正常人的語言理解能力
自然語言理解的5個難點：
- 語言的多樣性
- 語言的歧義性
- 語言的魯棒性
- 語言的知識依賴
- 語言的上下文
自然語言生成 – NLG
NLG 的6個步驟：
- 內(nèi)容確定 – Content Determination
- 文本結(jié)構(gòu) – Text Structuring
- 句子聚合 – Sentence Aggregation
- 語法化 – Lexicalisation
- 參考表達式生成 – Referring Expression Generation|REG
- 語言實現(xiàn) – Linguistic Realisation
NLP(自然語言處理) 的5個難點
?
- 語言是沒有規(guī)律的，或者說規(guī)律是錯綜復雜的。
- 語言是可以自由組合的，可以組合復雜的語言表達。
- 語言是一個開放集合，我們可以任意的發(fā)明創(chuàng)造一些新的表達方式。
- 語言需要聯(lián)系到實踐知識，有一定的知識依賴。
- 語言的使用要基于環(huán)境和上下文。
NLP 的4個典型應(yīng)用
情感分析
互聯(lián)網(wǎng)上有大量的文本信息，這些信息想要表達的內(nèi)容是五花八門的，但是他們抒發(fā)的情感是一致的：正面/積極的 – 負面/消極的。
通過情感分析，可以快速了解用戶的輿情情況。
聊天機器人
過去只有 Siri、小冰這些機器人，大家使用的動力并不強，只是當做一個娛樂的方式。但是最近幾年智能音箱的快速發(fā)展讓大家感受到了聊天機器人的價值。
而且未來隨著智能家居，智能汽車的發(fā)展，聊天機器人會有更大的使用價值。
語音識別
語音識別已經(jīng)成為了全民級的引用，微信里可以語音轉(zhuǎn)文字，汽車中使用導航可以直接說目的地，老年人使用輸入法也可以直接語音而不用學習拼音…
機器翻譯
目前的機器翻譯準確率已經(jīng)很高了，大家使用 Google 翻譯完全可以看懂文章的大意。傳統(tǒng)的人肉翻譯未來很可能會失業(yè)。
NLP 的 2 種途徑、3 個核心步驟
NLP 可以使用傳統(tǒng)的機器學習方法來處理，也可以使用深度學習的方法來處理。2 種不同的途徑也對應(yīng)著不同的處理步驟。詳情如下：
方式 1：傳統(tǒng)機器學習的 NLP 流程
- 語料預(yù)處理
- 中文語料預(yù)處理 4 個步驟（下文詳解）
- 英文語料預(yù)處理的 6 個步驟（下文詳解）
- 特征工程
- 特征提取
- 特征選擇
- 選擇分類器
方式 2：深度學習的 NLP 流程
- 語料預(yù)處理
- 中文語料預(yù)處理 4 個步驟（下文詳解）
- 英文語料預(yù)處理的 6 個步驟（下文詳解）
- 設(shè)計模型
- 模型訓練
英文 NLP 語料預(yù)處理的 6 個步驟
中文 NLP 語料預(yù)處理的 4 個步驟
總結(jié)
自然語言處理（NLP）就是在機器語言和人類語言之間溝通的橋梁，以實現(xiàn)人機交流的目的。
NLP的2個核心任務(wù)：
- 自然語言理解 – NLU
- 自然語言生成 – NLG
NLP 的5個難點：
- 語言是沒有規(guī)律的，或者說規(guī)律是錯綜復雜的。
- 語言是可以自由組合的，可以組合復雜的語言表達。
- 語言是一個開放集合，我們可以任意的發(fā)明創(chuàng)造一些新的表達方式。
- 語言需要聯(lián)系到實踐知識，有一定的知識依賴。
- 語言的使用要基于環(huán)境和上下文。
NLP 的4個典型應(yīng)用：
- 情感分析
- 聊天機器人
- 語音識別
- 機器翻譯
NLP 的6個實現(xiàn)步驟：
- 分詞
- 次干提取-stemming
- 詞形還原-lemmatization
- 詞性標注-pos tags
- 命名實體識別
- 分塊-chunking
自然語言處理
是計算機科學領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。它研究能實現(xiàn)人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數(shù)學于一體的科學。因此，這一領(lǐng)域的研究將涉及自然語言，即人們?nèi)粘Ｊ褂玫恼Z言，所以它與語言學的研究有著密切的聯(lián)系，但又有重要的區(qū)別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現(xiàn)自然語言通信的計算機系統(tǒng)，特別是其中的軟件系統(tǒng)。因而它是計算機科學的一部分。文章來源：http://www.zghlxwxcb.cn/news/detail-674763.html
自然語言處理（NLP）是計算機科學，人工智能，語言學關(guān)注計算機和人類（自然）語言之間的相互作用的領(lǐng)域。文章來源地址http://www.zghlxwxcb.cn/news/detail-674763.html
到了這里，關(guān)于深度學習6：自然語言處理-Natural language processing | NLP的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
