x.1 Sequence model
經(jīng)過前面的學(xué)習(xí),我們已知數(shù)據(jù)大于算法。而以數(shù)據(jù)為驅(qū)動的前提下,我們提出了各種模型。為了適配表格數(shù)據(jù),提出了MLP;為了適配圖像數(shù)據(jù)提出了CNN;而對了適配序列數(shù)據(jù),我們提出了RNN。
目前為止的數(shù)據(jù)的樣本都符合iid獨(dú)立同分布特點(diǎn),但是對于音頻,文本中的單詞等,都是有順序的,即他們是序列信息,并不符合獨(dú)立同分布的特點(diǎn)。故本章節(jié)將考慮到時間動力學(xué),根據(jù)文本信息處理文本數(shù)據(jù)。
autoregressive model自回歸模型:使用長度為tau的序列 {xt-1, …, xt-tau} 來預(yù)測xt時刻的結(jié)果。
latent autoregressive model隱變量自回歸模型:在使用長度為tau的序列 {xt-1, …, xt-tau} 來預(yù)測xt時刻的結(jié)果的同時,還加入了對過去預(yù)測結(jié)果的總結(jié)。
Markov model馬爾科夫模型:當(dāng)我們使用的是長度為tau的序列進(jìn)行預(yù)測,而不是一整個過去所有的序列進(jìn)行預(yù)測,我們就說序列滿足馬爾科夫條件,當(dāng)tau為1時就得到一階馬爾可夫模型,下式就是一階的:
k-step-ahead-prediction k步預(yù)測:對于直到xt的觀測序列{x1, … , xt},其在時間步t+k處的預(yù)測輸出xt+k稱為k步預(yù)測。即要用預(yù)測的數(shù)據(jù)進(jìn)行多步預(yù)測,在誤差累計(jì)后,precision精度會迅速下降。
x.2 將raw text文本信息轉(zhuǎn)換為sequence data序列信息
這一步最重要的就是將text文本數(shù)據(jù)轉(zhuǎn)為token。文章來源:http://www.zghlxwxcb.cn/news/detail-524218.html
corpus語料庫即text,存在很多重復(fù)的token,將text轉(zhuǎn)成sequence data的本質(zhì)就是將text轉(zhuǎn)成token,再將token根據(jù)vocabulary映射成number。這之中的token的定義是:每一個時間步預(yù)測的timestep,是text中的原子組成部分,獨(dú)一無二,最小單元。文章來源地址http://www.zghlxwxcb.cn/news/detail-524218.html
到了這里,關(guān)于d2l_第九章_RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!