基礎(chǔ)
自然語言處理（NLP）
自然語言處理PaddleNLP-詞向量應(yīng)用展示
自然語言處理（NLP）-前預(yù)訓(xùn)練時(shí)代的自監(jiān)督學(xué)習(xí)
自然語言處理PaddleNLP-預(yù)訓(xùn)練語言模型及應(yīng)用
自然語言處理PaddleNLP-文本語義相似度計(jì)算（ERNIE-Gram）
自然語言處理PaddleNLP-詞法分析技術(shù)及其應(yīng)用
自然語言處理PaddleNLP-快遞單信息抽取
理解
自然語言處理PaddleNLP-信息抽取技術(shù)及應(yīng)用
自然語言處理PaddleNLP-基于預(yù)訓(xùn)練模型完成實(shí)體關(guān)系抽取--實(shí)踐
自然語言處理PaddleNLP-情感分析技術(shù)及應(yīng)用-理論
自然語言處理PaddleNLP-情感分析技術(shù)及應(yīng)用SKEP-實(shí)踐
問答
自然語言處理PaddleNLP-檢索式文本問答-理論
自然語言處理PaddleNLP-結(jié)構(gòu)化數(shù)據(jù)問答-理論
翻譯
自然語言處理PaddleNLP-文本翻譯技術(shù)及應(yīng)用-理論
自然語言處理PaddleNLP-機(jī)器同傳技術(shù)及應(yīng)用-理論
對話
自然語言處理PaddleNLP-任務(wù)式對話系統(tǒng)-理論
自然語言處理PaddleNLP-開放域?qū)υ捪到y(tǒng)-理論
產(chǎn)業(yè)實(shí)踐
自然語言處理 Paddle NLP - 預(yù)訓(xùn)練模型產(chǎn)業(yè)實(shí)踐課-理論
常見的對話系統(tǒng)
- 個(gè)人助手
?Apple Siri, Amazon Alexa, Baidu Xiaodu - 客戶服務(wù)?餐廳預(yù)定、商品咨詢、債務(wù)催收
- 休閑娛樂
?Microsoft XiaoIce,Replika
放域?qū)υ捪到y(tǒng)
- 檢索式系統(tǒng)
- 生成式系統(tǒng)
檢索式系統(tǒng)
生成模型
- Sequence-to-sequence
- Generative Pre-training Models
Sequence-to-sequence
Generative Pre-training Models
- BERT 使用了雙向注意力機(jī)制，每個(gè)token可以向左向右看到各個(gè)token
- GPT 使用了單向注意力機(jī)制（從左到右）,是一個(gè)生成模型，每個(gè) token只能看到自己和前他面的詞，只能看到以前的，所以比較適合用來做生成任務(wù)，像平常說話也是一個(gè)詞一個(gè)詞的，Q：你有沒有養(yǎng)寵物，A:我有一只貓，
- PrefixLM (Unified Transformer)使用了編碼端雙向、生成端單向的注意力機(jī)制,適合開放域的對話任務(wù)
解碼策略
-
Greedy Decoding
-
Sampling-based Decoding
-
每一步，選取最可能的單詞(i.e. argmax)
-
把選取的單詞補(bǔ)充到input中，繼續(xù)下一步解碼
-
停止條件: 繼續(xù)解碼直到產(chǎn)生[EOS] 或者達(dá)到了事先定義的最大生成長度
Sampling-based Decoding
解碼策略–總結(jié)
- Greedy decoding 方法很簡單，但效果一般較差
- Sampling-baseddecoding可以得到更多樣化/隨機(jī)的回復(fù)
?比較適合于開放式/創(chuàng)造性的生成任務(wù)，像對話、詩詞、故事生成
?Top-k/p sampling 可以通過調(diào)節(jié)k/p，對生成的多樣性進(jìn)行控制
對話評(píng)估
- 自動(dòng)評(píng)估： BLEU、Distinct
- 人工評(píng)估
BLEU
Distinct
人工評(píng)估
開放域?qū)υ捘Ｐ脱葸M(jìn)歷史
PLATO-2
總結(jié)及展望
文章來源：http://www.zghlxwxcb.cn/news/detail-510998.html
視頻：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1493709&sharedType=2&sharedUserId=2631487&ts=1687157269113
課件：https://aistudio.baidu.com/aistudio/course/introduce/24177?sharedLesson=1567921&sharedType=2&sharedUserId=2631487&ts=1687157254946文章來源地址http://www.zghlxwxcb.cn/news/detail-510998.html
到了這里，關(guān)于自然語言處理 Paddle NLP - 開放域?qū)υ捪到y(tǒng)-理論的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
