論文簡介
-
作者
Huiqiang Xie
Zhijin Qin
Geoffrey Ye Liy
Biing-Hwang Juangy -
發(fā)表期刊or會議
《GLOBECOM》 -
發(fā)表時間
2020.12
動機(jī)：為什么作者想要解決這個問題？
隨著新應(yīng)用的發(fā)展，需要開發(fā)新的通信系統(tǒng)以提高通信的準(zhǔn)確性和效率，作者通過考慮bit背后的語義來開發(fā)智能通信系統(tǒng)
文中對語義通信系統(tǒng)的解釋：
??所考慮的語義通信系統(tǒng)主要關(guān)注語義層面的信源編碼和信道編碼，其目的是提取數(shù)字比特背后的語義信息，而不是簡單地壓縮比特序列的長度，然后對語義信息進(jìn)行編碼，以確保接收者可以在失真后恢復(fù)原始語義信息
(即使提取出來bit背后的語義信息，還是要對語義信息編碼，這不還是在傳輸bit嗎，一定意義上確實不是簡單的壓縮了，是復(fù)雜的壓縮，hhhh……)
貢獻(xiàn)：作者在這篇論文中完成了什么工作(創(chuàng)新點(diǎn))？
- 基于 Transformer提出了一種新穎的 DeepSC 框架，可以有效地從文本中提取語義信息。在該框架中，設(shè)計了
聯(lián)合語義-信道編碼來應(yīng)對信道噪聲和語義失真 - DeepSC的收發(fā)器由語義編碼器、信道編碼器、信道解碼器和語義解碼器組成。為了理解語義并同時最大化系統(tǒng)容量，接收器使用兩個損失函數(shù)進(jìn)行優(yōu)化：交叉熵和互信息
說白了，就是設(shè)計一個網(wǎng)絡(luò)，再設(shè)計損失函數(shù)的套路；換個網(wǎng)絡(luò)豈不是又是創(chuàng)新了
規(guī)劃：他們?nèi)绾瓮瓿晒ぷ鳎?/h3>
-
整體框架
所考慮的系統(tǒng)模型由兩個層次組成：語義層和傳輸層。語義層解決語義信息處理的編碼和解碼以提取語義信息；傳輸層保證語義信息能夠在傳輸介質(zhì)上正確交換。
(語義層，虛線框里；傳輸層，虛線框外；這個semantic channel是抽象出來的概念吧)
重要知識點(diǎn)：
??對于編碼器和解碼器的端到端訓(xùn)練，信道必須允許反向傳播。物理信道可以通過神經(jīng)網(wǎng)絡(luò)來建模。例如，簡單的神經(jīng)網(wǎng)絡(luò)可用于對加性高斯白噪聲 (AWGN) 信道、乘性高斯噪聲信道和擦除信道進(jìn)行建模。而對于衰落通道，則需要更復(fù)雜的神經(jīng)網(wǎng)絡(luò)。在本文中，為了簡單起見，我們主要考慮 AWGN 信道。
-
神經(jīng)網(wǎng)絡(luò)框架
本文的框架有兩個技術(shù)需要關(guān)注：
- 使用 DNN 聯(lián)合設(shè)計發(fā)射器和接收器
通過在DL中采用自動編碼器結(jié)構(gòu)，將E2E系統(tǒng)中的發(fā)送器和接收器作為E2E重建任務(wù)進(jìn)行聯(lián)合優(yōu)化
- 語義-信道聯(lián)合編碼
為了實現(xiàn)語義級別的成功恢復(fù)，我們聯(lián)合設(shè)計了語義和信道編碼，以保持
s
^
\hat s
s^和
s
s
s之間的含義不變，這是通過新的 DNN 框架實現(xiàn)的
(語義-信道聯(lián)合編碼的意義就是為了保持
s
^
\hat s
s^和
s
s
s之間的含義不變)
[個人理解，這兩項技術(shù)是通過設(shè)計不同的loss函數(shù)實現(xiàn)的]
看一下神經(jīng)網(wǎng)絡(luò)的整體框架：
??發(fā)射機(jī)由語義編碼器和信道編碼器組成，語義編碼器用于從要傳輸?shù)奈谋局刑崛≌Z義特征，信道編碼器用于生成符號以方便后續(xù)傳輸。語義編碼器包括多個Transformer編碼器層，信道編碼器使用不同的全連接層；
??AWGN 信道被解釋為模型中的一層；
??DeepSC 接收器將用于符號檢測的信道解碼器和用于文本估計的語義解碼器組合在一起。信道解碼器具有不同全連接層，語義解碼器包括多個 Transformer 解碼器層。
??損失函數(shù)定義為：
L
total?
=
L
C
E
(
s
,
s
^
;
α
,
β
,
χ
,
δ
)
+
λ
L
M
I
(
X
,
Y
;
T
,
α
,
β
)
\mathcal{L}_{\text {total }}=\mathcal{L}_{\mathrm{CE}}(\mathbf{s}, \hat{\mathbf{s}} ; \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\chi}, \boldsymbol{\delta})+\lambda \mathcal{L}_{\mathrm{MI}}(\mathbf{X}, \mathbf{Y} ; T, \boldsymbol{\alpha}, \boldsymbol{\beta})
Ltotal??=LCE?(s,s^;α,β,χ,δ)+λLMI?(X,Y;T,α,β)
??其中第一項是考慮句子相似性的損失函數(shù)，其目的是通過訓(xùn)練整個系統(tǒng)來最小化
s
^
\hat s
s^和
s
s
s之間的語義差異(也就是語義-信道聯(lián)合編碼的loss，語義-信道聯(lián)合編碼面向的好像是整個通信過程)。第二個是互信息的損失函數(shù)，它最大化發(fā)射機(jī)訓(xùn)練期間實現(xiàn)的數(shù)據(jù)速率(也就是聯(lián)合設(shè)計發(fā)射器和接收器的loss，聯(lián)合設(shè)計發(fā)射器和接收器是X→channel→Y這一段)。
??關(guān)于
L
C
E
\mathcal{L}_{\mathrm{CE}}
LCE?和
L
total?
\mathcal{L}_{\text {total }}
Ltotal??具體介紹見論文II.A和II.B
接下來我們要進(jìn)行網(wǎng)絡(luò)的訓(xùn)練：
??由于損失函數(shù)不同，DeepSC 的訓(xùn)練過程分為兩個階段。
??第一階段是通過無監(jiān)督學(xué)習(xí)訓(xùn)練互信息模型，損失函數(shù)為
L
M
I
\mathcal{L}_{\mathrm{MI}}
LMI?，即聯(lián)合優(yōu)化發(fā)射器和接收器
??第二階段是以
L
total?
\mathcal{L}_{\text {total }}
Ltotal??為損失函數(shù)來訓(xùn)練整個系統(tǒng)(
L
C
E
\mathcal{L}_{\mathrm{CE}}
LCE?包含在
L
total?
\mathcal{L}_{\text {total }}
Ltotal??中，所以此過程也優(yōu)化了語義-信道聯(lián)合編碼，猜測：之所以不把
L
C
E
\mathcal{L}_{\mathrm{CE}}
LCE?單獨(dú)拎出來作為loss訓(xùn)練，是因為
L
total?
\mathcal{L}_{\text {total }}
Ltotal??作為損失函數(shù)效果更好)
??關(guān)于訓(xùn)練的具體流程，見論文III.A和III.B
理由：通過什么實驗驗證它們的工作結(jié)果
整體框架
所考慮的系統(tǒng)模型由兩個層次組成：語義層和傳輸層。語義層解決語義信息處理的編碼和解碼以提取語義信息；傳輸層保證語義信息能夠在傳輸介質(zhì)上正確交換。
(語義層，虛線框里；傳輸層，虛線框外；這個semantic channel是抽象出來的概念吧)
重要知識點(diǎn)：
??對于編碼器和解碼器的端到端訓(xùn)練，信道必須允許反向傳播。物理信道可以通過神經(jīng)網(wǎng)絡(luò)來建模。例如，簡單的神經(jīng)網(wǎng)絡(luò)可用于對加性高斯白噪聲 (AWGN) 信道、乘性高斯噪聲信道和擦除信道進(jìn)行建模。而對于衰落通道，則需要更復(fù)雜的神經(jīng)網(wǎng)絡(luò)。在本文中，為了簡單起見，我們主要考慮 AWGN 信道。
神經(jīng)網(wǎng)絡(luò)框架
本文的框架有兩個技術(shù)需要關(guān)注：
- 使用 DNN 聯(lián)合設(shè)計發(fā)射器和接收器
通過在DL中采用自動編碼器結(jié)構(gòu)，將E2E系統(tǒng)中的發(fā)送器和接收器作為E2E重建任務(wù)進(jìn)行聯(lián)合優(yōu)化- 語義-信道聯(lián)合編碼
為了實現(xiàn)語義級別的成功恢復(fù)，我們聯(lián)合設(shè)計了語義和信道編碼，以保持 s ^ \hat s s^和 s s s之間的含義不變，這是通過新的 DNN 框架實現(xiàn)的
(語義-信道聯(lián)合編碼的意義就是為了保持 s ^ \hat s s^和 s s s之間的含義不變)
[個人理解，這兩項技術(shù)是通過設(shè)計不同的loss函數(shù)實現(xiàn)的]
看一下神經(jīng)網(wǎng)絡(luò)的整體框架：
??發(fā)射機(jī)由語義編碼器和信道編碼器組成，語義編碼器用于從要傳輸?shù)奈谋局刑崛≌Z義特征，信道編碼器用于生成符號以方便后續(xù)傳輸。語義編碼器包括多個Transformer編碼器層，信道編碼器使用不同的全連接層；
??AWGN 信道被解釋為模型中的一層；
??DeepSC 接收器將用于符號檢測的信道解碼器和用于文本估計的語義解碼器組合在一起。信道解碼器具有不同全連接層，語義解碼器包括多個 Transformer 解碼器層。
??損失函數(shù)定義為： L total? = L C E ( s , s ^ ; α , β , χ , δ ) + λ L M I ( X , Y ; T , α , β ) \mathcal{L}_{\text {total }}=\mathcal{L}_{\mathrm{CE}}(\mathbf{s}, \hat{\mathbf{s}} ; \boldsymbol{\alpha}, \boldsymbol{\beta}, \boldsymbol{\chi}, \boldsymbol{\delta})+\lambda \mathcal{L}_{\mathrm{MI}}(\mathbf{X}, \mathbf{Y} ; T, \boldsymbol{\alpha}, \boldsymbol{\beta}) Ltotal??=LCE?(s,s^;α,β,χ,δ)+λLMI?(X,Y;T,α,β)
??其中第一項是考慮句子相似性的損失函數(shù)，其目的是通過訓(xùn)練整個系統(tǒng)來最小化 s ^ \hat s s^和 s s s之間的語義差異(也就是語義-信道聯(lián)合編碼的loss，語義-信道聯(lián)合編碼面向的好像是整個通信過程)。第二個是互信息的損失函數(shù)，它最大化發(fā)射機(jī)訓(xùn)練期間實現(xiàn)的數(shù)據(jù)速率(也就是聯(lián)合設(shè)計發(fā)射器和接收器的loss，聯(lián)合設(shè)計發(fā)射器和接收器是X→channel→Y這一段)。
??關(guān)于 L C E \mathcal{L}_{\mathrm{CE}} LCE?和 L total? \mathcal{L}_{\text {total }} Ltotal??具體介紹見論文II.A和II.B
接下來我們要進(jìn)行網(wǎng)絡(luò)的訓(xùn)練：
??由于損失函數(shù)不同，DeepSC 的訓(xùn)練過程分為兩個階段。
??第一階段是通過無監(jiān)督學(xué)習(xí)訓(xùn)練互信息模型，損失函數(shù)為 L M I \mathcal{L}_{\mathrm{MI}} LMI?，即聯(lián)合優(yōu)化發(fā)射器和接收器
??第二階段是以 L total? \mathcal{L}_{\text {total }} Ltotal??為損失函數(shù)來訓(xùn)練整個系統(tǒng)( L C E \mathcal{L}_{\mathrm{CE}} LCE?包含在 L total? \mathcal{L}_{\text {total }} Ltotal??中，所以此過程也優(yōu)化了語義-信道聯(lián)合編碼，猜測：之所以不把 L C E \mathcal{L}_{\mathrm{CE}} LCE?單獨(dú)拎出來作為loss訓(xùn)練，是因為 L total? \mathcal{L}_{\text {total }} Ltotal??作為損失函數(shù)效果更好)
??關(guān)于訓(xùn)練的具體流程，見論文III.A和III.B
關(guān)于如何進(jìn)行對比試驗，具體見 論文 IV文章來源：http://www.zghlxwxcb.cn/news/detail-679009.html
自己的看法
語義通信較為早期的文章，并未對語義做具體的解釋，通讀文章后，給人的感覺語通信就是用神經(jīng)網(wǎng)絡(luò)咔咔組合，什么語義-信道聯(lián)合編碼，什么聯(lián)合設(shè)計收發(fā)器，就是神經(jīng)網(wǎng)絡(luò)。文章來源地址http://www.zghlxwxcb.cn/news/detail-679009.html
到了這里，關(guān)于文獻(xiàn)閱讀：Deep Learning based Semantic Communications: An Initial Investigation的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
