引言
本著“凡我不能創(chuàng)造的，我就不能理解”的思想，本系列文章會(huì)基于純Python以及NumPy從零創(chuàng)建自己的深度學(xué)習(xí)框架，該框架類似PyTorch能實(shí)現(xiàn)自動(dòng)求導(dǎo)。
??系列文章完整目錄： ??點(diǎn)此??
要深入理解深度學(xué)習(xí)，從零開始創(chuàng)建的經(jīng)驗(yàn)非常重要，從自己可以理解的角度出發(fā)，盡量不適用外部框架的前提下，實(shí)現(xiàn)我們想要的模型。本系列文章的宗旨就是通過(guò)這樣的過(guò)程，讓大家切實(shí)掌握深度學(xué)習(xí)底層實(shí)現(xiàn)，而不是僅做一個(gè)調(diào)包俠。
上篇文章中基于RNN作為編碼器/解碼器的seq2seq架構(gòu)實(shí)現(xiàn)德語(yǔ)-英語(yǔ)的機(jī)器翻譯。
上篇文章中針對(duì)編碼器生成的上下文向量的使用是作為解碼器的初始向量，后續(xù)解碼過(guò)程中無(wú)法直接使用。本文嘗試讓解碼器的每個(gè)時(shí)間步都能看到這個(gè)上下文向量，并通過(guò)在測(cè)試集上驗(yàn)證效果。
seq2seq簡(jiǎn)介
文章來(lái)源：http://www.zghlxwxcb.cn/news/detail-523371.html
上圖是seq2seq翻譯德語(yǔ)“早上好”的例子。源語(yǔ)句guten morgen首先經(jīng)過(guò)嵌入層(黃色)，然后輸入到編碼器(淺綠色)。為了表示句子的開頭和結(jié)束，加入開文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-523371.html
到了這里，關(guān)于從零實(shí)現(xiàn)深度學(xué)習(xí)框架——Seq2Seq模型嘗試優(yōu)化的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
