国产 无码 综合区,色欲AV无码国产永久播放,无码天堂亚洲国产AV,国产日韩欧美女同一区二区

d2l_第九章_RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

這篇具有很好參考價(jià)值的文章主要介紹了d2l_第九章_RNN循環(huán)神經(jīng)網(wǎng)絡(luò)。希望對大家有所幫助。如果存在錯誤或未考慮完全的地方,請大家不吝賜教,您也可以點(diǎn)擊"舉報(bào)違法"按鈕提交疑問。

x.1 Sequence model

經(jīng)過前面的學(xué)習(xí),我們已知數(shù)據(jù)大于算法。而以數(shù)據(jù)為驅(qū)動的前提下,我們提出了各種模型。為了適配表格數(shù)據(jù),提出了MLP;為了適配圖像數(shù)據(jù)提出了CNN;而對了適配序列數(shù)據(jù),我們提出了RNN。

目前為止的數(shù)據(jù)的樣本都符合iid獨(dú)立同分布特點(diǎn),但是對于音頻,文本中的單詞等,都是有順序的,即他們是序列信息,并不符合獨(dú)立同分布的特點(diǎn)。故本章節(jié)將考慮到時間動力學(xué),根據(jù)文本信息處理文本數(shù)據(jù)。

autoregressive model自回歸模型:使用長度為tau的序列 {xt-1, …, xt-tau} 來預(yù)測xt時刻的結(jié)果。

latent autoregressive model隱變量自回歸模型:在使用長度為tau的序列 {xt-1, …, xt-tau} 來預(yù)測xt時刻的結(jié)果的同時,還加入了對過去預(yù)測結(jié)果的總結(jié)。

d2l_第九章_RNN循環(huán)神經(jīng)網(wǎng)絡(luò),rnn,人工智能,深度學(xué)習(xí)

Markov model馬爾科夫模型:當(dāng)我們使用的是長度為tau的序列進(jìn)行預(yù)測,而不是一整個過去所有的序列進(jìn)行預(yù)測,我們就說序列滿足馬爾科夫條件,當(dāng)tau為1時就得到一階馬爾可夫模型,下式就是一階的:

d2l_第九章_RNN循環(huán)神經(jīng)網(wǎng)絡(luò),rnn,人工智能,深度學(xué)習(xí)

k-step-ahead-prediction k步預(yù)測:對于直到xt的觀測序列{x1, … , xt},其在時間步t+k處的預(yù)測輸出xt+k稱為k步預(yù)測。即要用預(yù)測的數(shù)據(jù)進(jìn)行多步預(yù)測,在誤差累計(jì)后,precision精度會迅速下降。

x.2 將raw text文本信息轉(zhuǎn)換為sequence data序列信息

這一步最重要的就是將text文本數(shù)據(jù)轉(zhuǎn)為token。

corpus語料庫即text,存在很多重復(fù)的token,將text轉(zhuǎn)成sequence data的本質(zhì)就是將text轉(zhuǎn)成token,再將token根據(jù)vocabulary映射成number。這之中的token的定義是:每一個時間步預(yù)測的timestep,是text中的原子組成部分,獨(dú)一無二,最小單元。文章來源地址http://www.zghlxwxcb.cn/news/detail-524218.html

到了這里,關(guān)于d2l_第九章_RNN循環(huán)神經(jīng)網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容,請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!

本文來自互聯(lián)網(wǎng)用戶投稿,該文觀點(diǎn)僅代表作者本人,不代表本站立場。本站僅提供信息存儲空間服務(wù),不擁有所有權(quán),不承擔(dān)相關(guān)法律責(zé)任。如若轉(zhuǎn)載,請注明出處: 如若內(nèi)容造成侵權(quán)/違法違規(guī)/事實(shí)不符,請點(diǎn)擊違法舉報(bào)進(jìn)行投訴反饋,一經(jīng)查實(shí),立即刪除!

領(lǐng)支付寶紅包贊助服務(wù)器費(fèi)用

相關(guān)文章

  • 線性神經(jīng)網(wǎng)路——線性回歸隨筆【深度學(xué)習(xí)】【PyTorch】【d2l】

    線性神經(jīng)網(wǎng)路——線性回歸隨筆【深度學(xué)習(xí)】【PyTorch】【d2l】

    線性回歸是顯式解,深度學(xué)習(xí)中絕大多數(shù)遇到的都是隱式解。 3.1.1、PyTorch 從零實(shí)現(xiàn)線性回歸 生成數(shù)據(jù)集及標(biāo)簽 d2l.plt.scatter(,,) ,使用d2l庫中的繪圖函數(shù)來創(chuàng)建散點(diǎn)圖。 這個函數(shù)接受三個參數(shù): features[:,1].detach().numpy() 是一個二維張量features的切片操作,選擇了所有行的第二

    2024年02月15日
    瀏覽(25)
  • 【神經(jīng)網(wǎng)絡(luò)】循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM

    【神經(jīng)網(wǎng)絡(luò)】循環(huán)神經(jīng)網(wǎng)絡(luò)RNN和長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM

    歡迎訪問Blog總目錄! 一文看盡RNN(循環(huán)神經(jīng)網(wǎng)絡(luò)) - 知乎 (zhihu.com) 一文搞懂RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))基礎(chǔ)篇 - 知乎 (zhihu.com) 循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network, RNN)是一類以 序列 (sequence)數(shù)據(jù)為輸入,在序列的演進(jìn)方向進(jìn)行 遞歸 (recursion)且所有節(jié)點(diǎn)(循環(huán)單元)按鏈?zhǔn)竭B

    2024年04月10日
    瀏覽(25)
  • 深度學(xué)習(xí)05-RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

    深度學(xué)習(xí)05-RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一種具有循環(huán)連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),被廣泛應(yīng)用于自然語言處理、語音識別、時序數(shù)據(jù)分析等任務(wù)中。相較于傳統(tǒng)神經(jīng)網(wǎng)絡(luò),RNN的主要特點(diǎn)在于它可以處理序列數(shù)據(jù),能夠捕捉到序列中的時序信息。 RNN的基本單元是一個循環(huán)單元(

    2024年02月12日
    瀏覽(25)
  • 循環(huán)神經(jīng)網(wǎng)絡(luò)RNN用于分類任務(wù)

    循環(huán)神經(jīng)網(wǎng)絡(luò)RNN用于分類任務(wù)

    RNN是一類 擁有隱藏狀態(tài),允許以前的輸出可用于當(dāng)前輸入 的神經(jīng)網(wǎng)絡(luò), ?輸入一個序列,對于序列中的每個元素與前一個元素的隱藏狀態(tài)一起作為RNN的輸入,通過計(jì)算當(dāng)前的輸出和隱藏狀態(tài)。當(dāng)前的影藏狀態(tài)作為下一個單元的輸入... ? 上圖中的紅色方塊代表輸入,藍(lán)色方塊

    2024年02月09日
    瀏覽(25)
  • 深度學(xué)習(xí)(2)---循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)

    深度學(xué)習(xí)(2)---循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)

    ?1. 在深度學(xué)習(xí)中,序列數(shù)據(jù)(Sequence data)是指具有 前后順序關(guān)聯(lián) 的數(shù)據(jù)。常見的時間序列數(shù)據(jù)、文本數(shù)據(jù)(單詞序列或字符序列)、語音數(shù)據(jù)等。這種數(shù)據(jù)不僅十分常見,而且往往具有很高的應(yīng)用價(jià)值,比如我們可以通過過去的天氣數(shù)據(jù)來預(yù)測未來的天氣狀況,通過以往

    2024年02月07日
    瀏覽(29)
  • 機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN

    機(jī)器學(xué)習(xí)&&深度學(xué)習(xí)——循環(huán)神經(jīng)網(wǎng)絡(luò)RNN

    ?????作者簡介:一位即將上大四,正專攻機(jī)器學(xué)習(xí)的保研er ??上期文章:機(jī)器學(xué)習(xí)深度學(xué)習(xí)—語言模型和數(shù)據(jù)集 ??訂閱專欄:機(jī)器學(xué)習(xí)深度學(xué)習(xí) 希望文章對你們有所幫助 在之前介紹了n元語法模型,其中單詞xt在時間步t的概率僅取決于前n-1個單詞。對于時間步t-(n-1)之前

    2024年02月13日
    瀏覽(25)
  • 循環(huán)神經(jīng)網(wǎng)絡(luò)解密:探索RNN的魔法

    循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network,RNN)是一種神經(jīng)網(wǎng)絡(luò)模型,專門用于處理序列數(shù)據(jù)和時間序列數(shù)據(jù)。與其他傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型不同,RNN具有循環(huán)連接,使得信息可以在網(wǎng)絡(luò)中傳遞并影響后續(xù)的輸出。這使得RNN在處理具有時序性的數(shù)據(jù)時表現(xiàn)出色。 RNN的結(jié)構(gòu)包含以下要素:

    2024年02月09日
    瀏覽(21)
  • 李宏毅機(jī)器學(xué)習(xí)筆記:RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

    李宏毅機(jī)器學(xué)習(xí)筆記:RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

    例如情景補(bǔ)充的情況,根據(jù)詞匯預(yù)測該詞匯所屬的類別。這個時候的 Taipi 則屬于目的地。但是,在訂票系統(tǒng)中, Taipi 也可能會屬于出發(fā)地。到底屬于目的地,還是出發(fā)地,如果不結(jié)合上下文,則很難做出判斷。因此,使用傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)解決不了問題,必須引入RNN。 如

    2024年02月10日
    瀏覽(26)
  • 【python,機(jī)器學(xué)習(xí),nlp】RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

    【python,機(jī)器學(xué)習(xí),nlp】RNN循環(huán)神經(jīng)網(wǎng)絡(luò)

    RNN(Recurrent?Neural?Network),中文稱作循環(huán)神經(jīng)網(wǎng)絡(luò),它一般以序列數(shù)據(jù)為輸入,通過網(wǎng)絡(luò)內(nèi)部的結(jié)構(gòu)設(shè)計(jì)有效捕捉序列之間的關(guān)系特征,一般也是以序列形式進(jìn)行輸出。 因?yàn)镽NN結(jié)構(gòu)能夠很好利用序列之間的關(guān)系,因此針對自然界具有連續(xù)性的輸入序列,如人類的語言,語音等

    2024年01月18日
    瀏覽(25)

覺得文章有用就打賞一下文章作者

支付寶掃一掃打賞

博客贊助

微信掃一掃打賞

請作者喝杯咖啡吧~博客贊助

支付寶掃一掃領(lǐng)取紅包,優(yōu)惠每天領(lǐng)

二維碼1

領(lǐng)取紅包

二維碼2

領(lǐng)紅包