actic: AML.TA0007
technique: AML.T0015
??突變技術(shù)可以規(guī)避幾乎所有的 DGA 檢測，不僅限于本例中所示的基于 CNN 的 DGA 檢測。如果攻擊者將其添加到現(xiàn)有 DGA 之上，則大多數(shù) DGA 檢測可能會(huì)失敗。使用這種技術(shù)變異的 DGA 生成的域名成功地避開了目標(biāo) DGA 檢測模型，允許攻擊者繼續(xù)與其命令和控制服務(wù)器通信。

圖一 案例二矩陣映射

論文通讀與細(xì)節(jié)

Character Level based Detection of DGA Domain Names
??
基于字符級(jí)的DGA域名檢測

摘要

在此文中，作者對網(wǎng)安領(lǐng)域重要問題“DGA檢測”進(jìn)行了實(shí)證比較：將域名二分類為良性和惡意軟件通過域名生成算法產(chǎn)生的域名。 在一個(gè)2M的域名數(shù)據(jù)集上進(jìn)行的訓(xùn)練和評估實(shí)驗(yàn)表明，各種卷積神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸神經(jīng)網(wǎng)絡(luò)（RNN）的架構(gòu)在準(zhǔn)確性方面的差異非常小，這促使人們傾向于使用更簡單的架構(gòu)，因?yàn)樗鼈冇?xùn)練和評分速度更快，不太容易過擬合。

一、介紹

簡要介紹了惡意軟件、C&C、DGA、及其運(yùn)行機(jī)制與原理。本文的主要任務(wù)：輸入域名字符串，完成文本二分類（惡意/良性）。相比傳統(tǒng)機(jī)器學(xué)習(xí)，使用深度學(xué)習(xí)完成此任務(wù)的核心原因：神經(jīng)網(wǎng)絡(luò)自動(dòng)從數(shù)據(jù)中學(xué)習(xí)分類特征。而此方法的代價(jià)是增加模型訓(xùn)練復(fù)雜度并需要更大的數(shù)據(jù)集。文章基于已有工作，對圖二的五種模型進(jìn)行實(shí)驗(yàn)，總體來說：五種模型最終得到的準(zhǔn)確率與假陽率指標(biāo)結(jié)果差異并不大，并且都比人工提取特征訓(xùn)練出的隨機(jī)森林模型效果好。針對DAG檢測的場景來說有兩個(gè)重要問題：一是模型需要定期更新，重新訓(xùn)練學(xué)習(xí)最新的惡意軟件信息的效率高低；二是在模型部署在大數(shù)據(jù)流量產(chǎn)品時(shí)，評分計(jì)算的效率高低。

圖二 五種模型

二、背景

背景部分講述了惡意軟件的行為、目標(biāo)、利用過程，DGA技術(shù)產(chǎn)生的原因、解決的問題、工作原理。在已有人工提取特征的傳統(tǒng)機(jī)器學(xué)習(xí)模型檢測的實(shí)現(xiàn)，很容易被攻擊者繞過，并且維護(hù)需要大量人力，而故提出了使用深度學(xué)習(xí)的方法來自動(dòng)學(xué)習(xí)特征，并且最終得到的結(jié)果效果更好?；谙嚓P(guān)工作，作者提出了這些工作對于深度學(xué)習(xí)架構(gòu)選擇并不嚴(yán)謹(jǐn)，并由此對這些模型架構(gòu)做了實(shí)驗(yàn)進(jìn)行對比，最終的結(jié)論是：雖然五種模型結(jié)構(gòu)差別大，但是調(diào)參容易，并且最終結(jié)果精度相似。
??作者也提到了對抗性機(jī)器學(xué)習(xí)的問題，如攻擊者使用隨機(jī)森林構(gòu)建自己的特征知識(shí)，來進(jìn)行繞過。由于攻擊者的DGA算法不可能部署過重的代碼嵌入在惡意軟件中，所以使得防御者用生成對抗網(wǎng)絡(luò)（GANs）進(jìn)行對抗成為可能。已有工作用GANs豐富訓(xùn)練集，再將該訓(xùn)練集應(yīng)用在其他機(jī)器學(xué)習(xí)模型上做分類任務(wù)來解決此問題。DGA不僅要生成看上去為良性的域名，更重要是是生成的域沒被注冊/被注冊的可能性低。針對以上DGA的目標(biāo)對抗生成額外域名空間的防御是該論文沒深入的重要方向。

三、方法

文章中對五個(gè)模型使用了相同的輸入（由【二級(jí)域名SLD+“.”+頂級(jí)域名TLD】組成的短字符串，如wikippedia.org），預(yù)處理過程如下：
（1）設(shè)定最大長度：75個(gè)字符，長度小于75的在左側(cè)填充“0”。
（2）全部字符轉(zhuǎn)換為小寫。
（3）每個(gè)字符用ASCII編碼成128位二進(jìn)制表示。
??最終生成128*75的矩陣，作為一個(gè)域名的表示，其中每一列向量代表一個(gè)字母。
??此外，作者說明了基于原引用文獻(xiàn)的模型只進(jìn)行了調(diào)整后提升準(zhǔn)確率的部分，如：優(yōu)化器的選擇（Endgame）等。

1.基于RNN

Endgame Model

基于工作：J. Woodbridge, H. S. Anderson, A. Ahuja, and D. Grant,“Predicting domain generation algorithms with long short-term memory networks,” preprint arXiv:1611.00791, 2016.3
??結(jié)構(gòu)：LSTM

main_input = Input(shape=(75, ), dtype='int32', name='main\_input')
embedding = Embedding(input_dim=128, output_dim=128,input_length=75)
#作用：輸入為ASCII 128 vector，輸出相似度表示 128 vector
#其中為更好對比，五個(gè)實(shí)驗(yàn)?zāi)Ｐ偷那度雽涌臻g維度大小相同

lstm = LSTM(128, return_sequences=False)
drop = Dropout(0.5)
#基操，防止過擬合

output = Dense(1, activation='sigmoid')
model = Model(inputs=main_input, outputs=output)
model.compile(loss='binary\_crossentropy', optimizer='adam')
#優(yōu)化：引文的優(yōu)化器（optimizer）為RMSProp，作者改為Adam后，loss可以更好收斂。

原文延申

以下為筆者補(bǔ)充認(rèn)為原文引文中有參考價(jià)值的材料，本文有詳盡的DGA相關(guān)內(nèi)容，對神經(jīng)網(wǎng)絡(luò)基本架構(gòu)及DGA原理熟悉的丹師可跳過。
《Predicting domain generation algorithms with long short-term memory networks》
??摘要：簡介了的DGA技術(shù)的攻防常見手段技術(shù)脈絡(luò)及優(yōu)劣：逆向->用獲得的種子生成域名->生成域名搶注/沉洞/加入DNS黑名單。另一思路則是通過預(yù)測該域名是否為DGA生成的，來阻斷惡意軟件的DNS查詢。這一思路的方法有如基于統(tǒng)計(jì)特征的——【劣勢：時(shí)間窗口過大，無法用于實(shí)時(shí)檢測防御】；使用上下文信息的，如被動(dòng)DNS（Passive DNS）、聚合全網(wǎng)的NXDomain狀態(tài)（Rcode=3）數(shù)據(jù)——【劣勢：集成成本高昂，終端監(jiān)測難實(shí)現(xiàn)】。而對上述許多難以部署的系統(tǒng)，卻可以使用LSTM的方法，僅通過域名字符串進(jìn)行實(shí)時(shí)判斷。
??最后引出LSTM模型可以基于許多開源框架輕松實(shí)現(xiàn)與部署。結(jié)論上，ROC曲線面積（二分類）：0.9993；micro-averaged F1評分：0.9906，比次優(yōu)方法提升二十倍。
??介紹：
??1.關(guān)于DGA域名黑名單的覆蓋率：公開黑名單覆蓋率<1.2%，私有黑名單比公開覆蓋率高，但惡意軟件家族的信息并不齊全。
??2.關(guān)于DGA分類器：持續(xù)嗅探dns請求來檢測DGAs，檢測到后再通知其他工具或網(wǎng)絡(luò)管理員進(jìn)行溯源。
??3.通常DGA檢測分為實(shí)時(shí)和回溯兩類。其中回溯需要大量數(shù)據(jù)集，基于統(tǒng)計(jì)特征進(jìn)行聚類（如使用KL散度，衡量概率分布的差異），再加上文提及的使用上下文信息，該方法對于實(shí)際的安全應(yīng)用軟件來說不現(xiàn)實(shí)。如EDR設(shè)備部署在終端上，終端設(shè)備的網(wǎng)絡(luò)、內(nèi)存、處理性能做不到聚合這樣的上下文信息要求。并且回溯技術(shù)在二分類問題上，表現(xiàn)不如實(shí)時(shí)技術(shù)：

圖三 回溯技術(shù)與LSTM方法結(jié)果對比
??
??4.傳統(tǒng)ML模型手工提取特征包括信息熵、字符串長度、文本元輔音比（正常域名絕大多數(shù)易于/可發(fā)音）、詞義字符比（如ratio(Facebook)=1、ratio(face1234)=0.5）、未知類別樣本與良性數(shù)據(jù)集的馬氏距離（Mahalanobis Distance）、良性樣本的n-garm正態(tài)性校驗(yàn)評分等。并在聚類中加入了請求該域的共享主機(jī)信息（即，如果同一主機(jī)對兩個(gè)域進(jìn)行DNS查詢，則將兩個(gè)域聚在一起）。
??5.隱式馬爾科夫模型（HMM）首次提出的實(shí)時(shí)技術(shù)，并且無需手動(dòng)提取特征，但檢測效果差。
??6.LSTM模型的相關(guān)信息：
??（1）如果新的DGA家族出現(xiàn)，則需重新訓(xùn)練。
??（2）模型作為一個(gè)黑盒，難以用傳統(tǒng)逆向工作，在沒有相同訓(xùn)練集的情況下繞過。
??（3）除二分類外還可進(jìn)行多分類工作，可對唯一的DGA結(jié)構(gòu)進(jìn)行指紋識(shí)別。
??（4）作者在Apple MacBook Pro 2.2 GHz Intel Core i7 16GB Memory上對一個(gè)域名進(jìn)行分類耗時(shí)20ms。
??背景：
??A.關(guān)于DGA：作者分析了30種不同的惡意軟件DGA，涵括“Cryptolocker”、“Cryptowall”、“Hesperbot”、“suppbox”、"ramnit"等。

圖四 數(shù)據(jù)集DGA家族類型

B.關(guān)于DGA分類：該分類組件對于域名信譽(yù)評分非常重要。相關(guān)工作中，有用n-gram(unigram、bigram)作為統(tǒng)計(jì)特征，使用KL散度衡量兩種標(biāo)簽集合的分布差異、Jaccard距離衡量兩種標(biāo)簽集合的相似度。
??關(guān)于幾種檢測方法產(chǎn)品落地的角度：
??（1）被標(biāo)記后的域名送入聚類進(jìn)行進(jìn)一步分類，每個(gè)DGA家族使用HMM模型，域名解析請求成功后都用HMM反饋，當(dāng)某域名評分超出設(shè)定閾值時(shí)，標(biāo)記為DGA。問題：檢測速度慢，誤報(bào)多。
??（2）僅基于NXDomains實(shí)時(shí)信息進(jìn)行順序假設(shè)檢驗(yàn) ，通過NXDomains的數(shù)量及惡意情況給客戶端主機(jī)評分，通過設(shè)定的閾值區(qū)間對域名進(jìn)行標(biāo)記。問題：檢測有時(shí)延，需經(jīng)過一定時(shí)間積累來調(diào)整對客戶端的閾值區(qū)間。并且實(shí)際系統(tǒng)性能遠(yuǎn)低于其他大多數(shù)實(shí)時(shí)解決方案，僅通過NXDomains響應(yīng)碼無法進(jìn)一步做更多任務(wù)，如：無法實(shí)現(xiàn)多分類。
??結(jié)果：

圖五 上述四種方法二分類任務(wù)的ROC曲線對比
??
??作者給出了模型易混淆的幾類樣本與家族，unigram分布情況如圖六所示：

圖六 unigram分布情況對比
??
??大多數(shù)情況下的錯(cuò)分類，是由于字母的分布導(dǎo)致的。作者通過計(jì)算各DGA家族與良性數(shù)據(jù)集Alexa Top 1M間unigram分布的余弦距離，并將閾值設(shè)定為0.2定義為“超族”進(jìn)行聚類，得到圖七結(jié)果，其中超族四：基于字典的DGA；超族五：隨機(jī)生成字符的DGA；超族七：隨機(jī)選擇生成元輔音比例相同的DGA。淺層模型往往對超族分類的表現(xiàn)較好，但細(xì)分類任務(wù)上不如LSTM。

圖七 unigram余弦聚類結(jié)果
??
??模型可解釋性：
??首先對于詞嵌入產(chǎn)生的128維向量使用PCA投影至二維，見到多個(gè)字符出現(xiàn)在統(tǒng)一投影面，且對于字符的相似（可互換性）有著一定程度的學(xué)習(xí)。在單元追蹤中，可以見到十六進(jìn)制以及隨機(jī)字符長序列有著較高的激活狀態(tài)，而其他狀態(tài)沒有很明確的可解釋性。
??實(shí)驗(yàn)源碼：
??二分類：

from keras.preprocessing import pad_sequences
from keras.models import Sequential
from keras.layers.core import Dense
from keras.layers.core import Dropout
from keras.layers.core import Activation
from keras.layers.embeddings import Embedding
from keras.layers.recurrent import LSTM

model=Sequential()
model.add(Embedding(max_features,128,input_length=75))
model.add(LSTM(128))
model.add(Dropout(0.5))
model.add(Dense(1))
model.add(Activation('sigmoid'))

model.compile(loss='binary\_crossentropy',optimizer='rmsprop')

# Pad sequence where sequences are case insensitive characters encoded to integers from 0 to number of valid characters
X_train=sequence.pad_sequences(X_train,maxlen=75)

# Train where y\_train is 0-1
model.fit(X_train, y_train,batch_size=batch_size, nb_epoch=1)

多分類：

from keras.preprocessing import pad_sequences
from keras.models import Sequential
from keras.layers.core import Dense
from keras.layers.core import Dropout
from keras.layers.core import Activation
from keras.layers.embeddings import Embedding
from keras.layers.recurrent import LSTM

model=Sequential()
model.add(Embedding(max_features,128,input_length=75))
model.add(LSTM(128))
model.add(Dropout(0.5))
# nb\_classes is the number of classes in the training set
model.add(Dense(nb_classes))
model.add(Activation('softmax'))

model.compile(loss='categorical\_crossentropy',optimizer='rmsprop')

# Pad sequence where sequences are case insensitive characters encoded to integers from 0 to number of valid characters
X_train=sequence.pad_sequences(X_train,maxlen=75)

# Train where y\_train is one-hot encoded for each class
model.fit(X_train, y_train,batch_size=batch_size, nb_epoch=1)

CMU Model

基于工作：Tweet2vec: Character-based distributed representations for social media 4
??結(jié)構(gòu)：Bi-directional LSTM

main_input = Input(shape=(75, ), dtype='int32', name='main\_input')
embedding = Embedding(input_dim=128, output_dim=128,input_length=75)

bi_lstm = Bidirectional(layer=LSTM(64,return_sequences=False),merge_mode='concat')

output = Dense(1, activation='sigmoid')

model = Model(inputs=main_input, outputs=output)
model.compile(loss='binary\_crossentropy', optimizer='adam')

原文延申

以下為筆者補(bǔ)充認(rèn)為原文引文中有參考價(jià)值的材料，本文為社交網(wǎng)絡(luò)語言分析項(xiàng)目，主要思考該模型可遷移至DGA檢測領(lǐng)域的合理性，對神經(jīng)網(wǎng)絡(luò)基本架構(gòu)及原理熟悉的丹師可跳過。

《Tweet2vec: Character-based distributed representations for social media》
??摘要：主要解決非正式網(wǎng)絡(luò)用語、拼寫錯(cuò)誤、縮寫、特殊字符（表情）帶來的相關(guān)問題，比如OOV、基于單詞級(jí)字典存儲(chǔ)空間過大等。
??介紹：
??開源地址：https://github.com/bdhingra/tweet2vec
??簡述了NLP脈絡(luò)，以及將推文的hashtags用作文本有監(jiān)督學(xué)習(xí)表示的合理性（學(xué)習(xí)到的詞嵌入可以應(yīng)用在其他任務(wù)中，并取得不錯(cuò)的效果）。
??模型：GRU
??結(jié)論：對比基線（1.預(yù)處理統(tǒng)一刪除了tag、字母替換為小寫、將用戶名與url替換為特殊字符、刪除數(shù)據(jù)集中的轉(zhuǎn)發(fā)貼 2.空格進(jìn)行分詞token），該模型對常見詞文本的預(yù)測性能略好，而罕見詞文本預(yù)測可以漲12~15個(gè)點(diǎn)，代價(jià)則是GRU基于字符級(jí)的序列更長，增加了訓(xùn)練時(shí)間。

2.基于CNN

NYU Model

基于工作：Character-level Convolutional Networks for Text Classification 5
??結(jié)構(gòu)：CNN

main_input = Input(shape=(75, ), dtype='int32', name='main\_input')
embedding = Embedding(input_dim=128, output_dim=128,input_length=75)

conv1 = Conv1D(filters=128, kernel_size=3, padding='same', strides=1)
thresh1 = ThresholdedReLU(1e-6)
max_pool1 = MaxPooling1D(pool_size=2, padding='same')
#最大值池化，訓(xùn)練更深層網(wǎng)絡(luò)

conv2 = Conv1D(filters=128, kernel_size=2, padding='same', strides=1)
thresh2 = ThresholdedReLU(1e-6)
max_pool2 = MaxPooling1D(pool_size=2, padding='same')

flatten = Flatten()
fc = Dense(64)
thresh_fc = ThresholdedReLU(1e-6)

drop = Dropout(0.5)
output = Dense(1, activation='sigmoid')

model = Model(inputs=main_input, outputs=output)
model.compile(loss='binary\_crossentropy', optimizer='adam')

原文延申

以下為筆者補(bǔ)充認(rèn)為原文引文中有參考價(jià)值的材料，本文為文本分類任務(wù)模型對比文章，主要思考該模型可遷移至DGA檢測領(lǐng)域的合理性，對神經(jīng)網(wǎng)絡(luò)基本架構(gòu)及原理熟悉的丹師可跳過。

《Character-level Convolutional Networks for Text Classification》
??摘要：文章工作將ConvNets（character-level CNN）的文本分類表現(xiàn)與BOW、n-grams、TFIDF變體、word-level RNN進(jìn)行對比實(shí)驗(yàn)。
??模型：character-level CNN
??樣本側(cè)數(shù)據(jù)增強(qiáng)：使用同義詞替換的方法做了數(shù)據(jù)增強(qiáng)，具體選詞用了WordNet對同義詞排名，得出同義程度由高至低的索引

i

i

i ，并使用幾何分部概率進(jìn)行選取

P

（

w

o

r

d

i

）

～

q

i

P（word_i）\sim q^i

P（wordi?）～qi，則索引越后，替換詞與原詞越不同義，被選作替換的可能性越小?？傮w步驟為：
?????1.從原句中提取所有可以用同義詞進(jìn)行替換的單詞（數(shù)據(jù)來源：LibreOffice Project mytheas component——English sysnonyms thesaurus）
?????2.從全部可替換詞中隨機(jī)選取

r

r

r個(gè)，同樣使用幾何分部概率確定該詞是否要保留原詞，

P

（

N

u

m

b

e

r

r

）

～

q

r

P（Number_r）\sim q^r

P（Numberr?）～qr。（此處應(yīng)有更多流程細(xì)節(jié)，如

r

r

r在不同句子同義詞替換取值范圍情況，但原文沒有詳細(xì)說明）
?????3.進(jìn)行同義替換。

此處稍微吐槽一下原文Sogou news corpus數(shù)據(jù)集中：“Although this is a dataset in Chinese, we used pypinyin package combined with jieba Chinese segmentation system to produce Pinyin – a phonetic romanization of Chinese.The models for English can then be applied to this dataset without change. ”
原來pinyin和英語沒有domain gap，就emmmm，看到這差點(diǎn)棄了。雖然說文章不是驗(yàn)證某種語言任務(wù)看似無傷大雅，但也不能過于泛化。
最后這篇文章的結(jié)論，推導(dǎo)出的結(jié)論個(gè)人感覺不要嚴(yán)謹(jǐn)沒有抓住想說明問題的核心，部分陳述沒有太大價(jià)值，此處就省略了，數(shù)據(jù)集也不做介紹了，原文自建了8個(gè)數(shù)據(jù)集，來得出關(guān)于ConvNets的優(yōu)勢/解釋性。

Invincea Model

基于工作：eXpose: A character-level convolutional neural network with embeddings for detecting malicious urls, file paths and registry keys 6
??結(jié)構(gòu)：CNN

def getconvmodel(self, kernel_size, filters):
	model = Sequential()
	model.add(Conv1D(filters=filters, input_shape=(128,128), kernel_size=kernel_size,padding=’same’,activation=’relu’,strides=1))
	model.add(Lambda(lambda x: K.sum(x, axis=1),output_shape=(filters, )))
	model.add(Dropout(0.5))
	return model
	
main_input = Input(shape=(75, ), dtype='int32', name='main\_input')
embedding = Embedding(input_dim=128, output_dim=128,input_length=75)

conv1 = getconvmodel(2, 256)
conv2 = getconvmodel(3, 256)
conv3 = getconvmodel(4, 256)
conv4 = getconvmodel(5, 256)

merged = Concatenate()([conv1, conv2, conv3, conv4])
middle = Dense(1024, activation='relu')
middle = Dropout(0.5)
middle = Dense(1024, activation='relu')
middle = Dropout(0.5)

output = Dense(1, activation='sigmoid')

model = Model(inputs=main_input, outputs=output)
model.compile(loss='binary\_crossentropy', optimizer='adam')

原文延申

以下為筆者補(bǔ)充認(rèn)為原文引文中有參考價(jià)值的材料，本文為文本分類任務(wù)模型對比文章，主要思考該模型可遷移至DGA檢測領(lǐng)域的合理性，對神經(jīng)網(wǎng)絡(luò)基本架構(gòu)及原理熟悉的丹師可跳過。

《eXpose: A character-level convolutional neural network with embeddings for detecting malicious urls, file paths and registry keys》
??簡介：作者使用CNN架構(gòu)，直接輸入字符串使用模型自動(dòng)學(xué)習(xí)特征，來檢測惡意URL、文件路徑、注冊表鍵名。其中惡意URL直接檢測，若不附帶額外的信息（網(wǎng)站注冊、網(wǎng)頁內(nèi)容、網(wǎng)絡(luò)信譽(yù)等額外成本），筆者看來還是明顯存在如：ATLAS——對抗性機(jī)器學(xué)習(xí)威脅矩陣＜案例研究一＞中出現(xiàn)的問題，易于繞過。但筆者認(rèn)同作者提到的一個(gè)觀點(diǎn)：該模型能力與傳統(tǒng)手工特征/上下文/情報(bào)模型是正交互補(bǔ)的。用兩種不同方式提取特征進(jìn)行能力的覆蓋，DL提取特征可更快速檢出自動(dòng)化程序生成的惡意資源名稱并更快部署，手動(dòng)方式擁有很好的物理解釋給推理結(jié)果溯源，而如何去檢驗(yàn)當(dāng)兩種模型結(jié)果出現(xiàn)沖突時(shí)，發(fā)現(xiàn)誤報(bào)并提升人工確認(rèn)的效率也很值得思考。

圖八 原文模型框架

3.基于CNN/RNN混合結(jié)構(gòu)

MIT Model

基于工作：Tweet2vec: Learning tweet embeddings using character-level cnn-lstm encoder-decoder 7
??結(jié)構(gòu)：CNN-LSTM
??該模型是基于NYU model的拓展改造，其中原文的實(shí)現(xiàn)疊套了多層CNN，而在DGA的檢測中僅保留了一層，并也接入了一層LSTM進(jìn)行實(shí)現(xiàn)，查看效果。

main_input = Input(shape=(75, ), dtype='int32', name='main\_input')
embedding = Embedding(input_dim=128, output_dim=128,input_length=75)

conv = Conv1D(filters=128, kernel_size=3, padding='same', activation='relu', strides=1)
max_pool = MaxPooling1D(pool_size=2, padding='same')

encode = LSTM(64, return_sequences=False)

output = Dense(1, activation='sigmoid')

model = Model(inputs=main_input, outputs=output)
model.compile(loss='binary\_crossentropy', optimizer='adam')

原文延申

以下為筆者補(bǔ)充認(rèn)為原文引文中有參考價(jià)值的材料，本文為文本分類任務(wù)模型對比文章，主要思考該模型可遷移至DGA檢測領(lǐng)域的合理性，對神經(jīng)網(wǎng)絡(luò)基本架構(gòu)及原理熟悉的丹師可跳過。
《Tweet2vec: Learning tweet embeddings using character-level cnn-lstm encoder-decoder 》
??模型：CNN_LSTM
??encoder：卷積層-提取特征；LSTM層-編碼
??decoder：兩個(gè)LSTM層-解碼，用于預(yù)測
??字符集數(shù)量：70個(gè)；數(shù)據(jù)集推文數(shù)量：300萬條；
??流程：輸入
?????一維卷積——4層；參數(shù)：滑動(dòng)窗口大小l，過濾器

w

∈

R

l

w \in R^l

w∈Rl
?????一維最大池化——一層；參數(shù)：pooling size，過濾器數(shù)量n；作用：縮小特征表達(dá)的大小，過濾去除瑣碎的特征，如不必要的字母組合。
?????經(jīng)過最后一層卷積后，得到10*512輸出，作為lstm輸入。最后lstm編碼結(jié)果輸出表示全部推文，大小為row *256。最終輸入解碼器，得到t時(shí)刻的字母預(yù)測值。

圖九 原文模型框架

樣本側(cè)數(shù)據(jù)增強(qiáng)：復(fù)數(shù)推文-復(fù)制一遍原文，并使用同義詞替換當(dāng)中可被替換的詞語。(WordNet，增強(qiáng)方法同NYU Model，不贅述，其中兩個(gè)幾何分布參數(shù)選?。簆=0.5,r=0.5)
??實(shí)驗(yàn)：
??語義相似分類任務(wù)（競賽）：SemEval 2015-Task 1:Paraphrase and Semantic Similarity in Twitter；輸入：一組推文；輸出：是否相似（二分類）。數(shù)據(jù)集：訓(xùn)練-18000推文對，測試-1000推文對；其中35%為釋義對，65%為非釋義對。過程：講推文對輸入tweet2vet模型，得到一組向量表示r,s，計(jì)算點(diǎn)積r·s以及絕對差｜r-s｜，并拼接兩個(gè)結(jié)果作為這一組推文對的表示。最后進(jìn)行邏輯回歸和交叉驗(yàn)證優(yōu)化參數(shù)。結(jié)論：與該競賽前4名模型相比，該模型f1得分最高。
??情感分類任務(wù)（競賽）：SemEval 2015-Task10B:Twitter Message Polarity Classification；輸入：一條推文；輸出：積極、消極、中立（三分類）。數(shù)據(jù)集：訓(xùn)練-9520，測試-2380（樣本標(biāo)簽比例相同：積極-38%，消極-15%，中立47%）。競賽評分特殊性：該任務(wù)得分仍為判斷消極與積極兩類的準(zhǔn)確性，實(shí)際是二分類作為模型的評分標(biāo)準(zhǔn)，仍使用f1得分衡量。結(jié)論：與該競賽前4名模型相比，該模型f1得分最高。
??模型后續(xù)優(yōu)化方向：1.數(shù)據(jù)增強(qiáng)方面，打亂樣本的語序來增強(qiáng)魯棒性。2.增加注意力機(jī)制來改進(jìn)解碼過程中推文單詞對齊問題（筆者也將在后續(xù)補(bǔ)充注意力機(jī)制模型應(yīng)用與DGA檢測的文章閱讀整理與實(shí)驗(yàn)）。

筆者總結(jié)：文章的總體工作為實(shí)驗(yàn)性綜述，并將已有的模型調(diào)優(yōu)，統(tǒng)一環(huán)境進(jìn)行實(shí)驗(yàn)對比總結(jié)得出核心結(jié)論。第二部分背景中最后提到了GANs做數(shù)據(jù)增強(qiáng)，然后應(yīng)用到分類模型中，確實(shí)是值得繼續(xù)深入的方向。
??其實(shí)DGA的邏輯有很多種，使用機(jī)器學(xué)習(xí)方法最易檢出非基于字典類型的不正常域名，但僅從文本信息中，卻難以發(fā)現(xiàn)生成算法本身邏輯是否是與時(shí)間相關(guān)/有確定性的，如Bedep以歐洲中央銀行每天發(fā)布的外匯參考匯率作為種子，Torpig用Twitter的關(guān)鍵詞作為種子，只有在確定時(shí)間窗口內(nèi)注冊域名才能生效。此外基于字典的DGA檢測難度大，如matsnu由于樣本數(shù)量少即使是lstm架構(gòu)也無法檢出，但是訓(xùn)練樣本大于matsnu20倍的suppobox卻可以做出一定的判斷。所以基于詞典的DGA，理論上數(shù)據(jù)集收集越多，覆蓋詞典越全越接近DGA結(jié)果的真實(shí)生成域名分布，那么準(zhǔn)確率也將得到更多提升。
??我們需要進(jìn)一步思考，針對不同的DGA，哪些可以完全脫離人工提權(quán)特征進(jìn)行檢測，哪些仍然需要上下文及其他信息補(bǔ)充。如果這樣實(shí)現(xiàn)了防御，作為攻擊者不能完全繞過檢測，開發(fā)DGA時(shí)是否可以通過利用特征分析/模型retrain等的時(shí)間差、使用一些花指令等惡意軟件開發(fā)上的技巧擴(kuò)大存活時(shí)間來增強(qiáng)攻擊影響。作為防御方，考慮DGA家族之間的聯(lián)系（如Conficker, Murofet, Bobax,Sinowal.）來進(jìn)一步完善數(shù)據(jù)集，合理增加一些額外信息也有不錯(cuò)的效果。

些許頭禿 心路歷程：開始覺得一共8頁文章，會(huì)比上一篇案例更快讀完，結(jié)果五個(gè)模型介紹細(xì)節(jié)都高度概括，雖然對熟悉各種神經(jīng)網(wǎng)絡(luò)架構(gòu)的老丹師so easy，但還是想讓博文脈絡(luò)更全面一些。挖下去后，每個(gè)references原文有十幾頁hhh，果然填坑還是要做好心理建設(shè)。

繞過實(shí)驗(yàn)復(fù)現(xiàn)

靶環(huán)境項(xiàng)目指路：https://github.com/matthoffman/degas

筆者由于工作原因，投入時(shí)間較少，復(fù)現(xiàn)簡單粗糙，不嚴(yán)謹(jǐn)之處歡迎指正。

部署使用

該項(xiàng)目信息與功能非常全面，也易于部署實(shí)驗(yàn)。先根據(jù)提供的requirements.txt建立conda-env，激活切換至該環(huán)境。執(zhí)行download-data指令，下載數(shù)據(jù)集。

圖十 開源數(shù)據(jù)集文件

下載完畢后，執(zhí)行數(shù)據(jù)集處理

??處理完后，數(shù)據(jù)統(tǒng)一標(biāo)記標(biāo)簽，1-惡意，0-正常。

圖十一 開源數(shù)據(jù)集匯總處理文件

開始訓(xùn)練，不調(diào)節(jié)默認(rèn)參數(shù)是num_epochs=100, kfold_splits=2, batch_size=256, max_length=75。

服務(wù)器端

docker+mac m1無法部署

執(zhí)行指令：

docker run -p 8501:8501 \  
  --mount type=bind,source=【文件路徑】/degas/models/degas,target=/models/degas\
  -e MODEL\_NAME=degas -t tensorflow/serving

報(bào)錯(cuò)：

[libprotobuf ERROR external/com_google_protobuf/src/google/protobuf/descriptor_database.cc:560] Invalid file descriptor data passed to EncodedDescriptorDatabase::Add().
[libprotobuf FATAL external/com_google_protobuf/src/google/protobuf/descriptor.cc:1986] CHECK failed: GeneratedDatabase()->Add(encoded_file_descriptor, size): 

找到靶環(huán)境對應(yīng)版本：
tensorflow 1.12 --------------- protobuf 3.6
mac更新protobuf 3.6

pip install protobuf==3.6

仍然報(bào)錯(cuò)，執(zhí)行查看protoc版本，發(fā)現(xiàn)libprotoc==3.18：

which protoc
protoc --version

修改為統(tǒng)一版本，仍然報(bào)錯(cuò)，出現(xiàn)qemu: uncaught target signal 6 (Aborted) - core dumped。它是我們用于在 M1 芯片上運(yùn)行英特爾容器的上游組件，這個(gè)issue 尚未解決。由于部分源碼函數(shù)制定版本tf才有，所以無法用此方法部署。

docker+ubuntu18.04部署

云環(huán)境

把docker裝好后直接跑服務(wù)。

圖十二 服務(wù)器端

自我介紹一下，小編13年上海交大畢業(yè)，曾經(jīng)在小公司待過，也去過華為、OPPO等大廠，18年進(jìn)入阿里一直到現(xiàn)在。

深知大多數(shù)Linux運(yùn)維工程師，想要提升技能，往往是自己摸索成長或者是報(bào)班學(xué)習(xí)，但對于培訓(xùn)機(jī)構(gòu)動(dòng)則幾千的學(xué)費(fèi)，著實(shí)壓力不小。自己不成體系的自學(xué)效果低效又漫長，而且極易碰到天花板技術(shù)停滯不前！

因此收集整理了一份《2024年Linux運(yùn)維全套學(xué)習(xí)資料》，初衷也很簡單，就是希望能夠幫助到想自學(xué)提升又不知道該從何學(xué)起的朋友，同時(shí)減輕大家的負(fù)擔(dān)。

既有適合小白學(xué)習(xí)的零基礎(chǔ)資料，也有適合3年以上經(jīng)驗(yàn)的小伙伴深入學(xué)習(xí)提升的進(jìn)階課程，基本涵蓋了95%以上Linux運(yùn)維知識(shí)點(diǎn)，真正體系化！

由于文件比較大，這里只是將部分目錄大綱截圖出來，每個(gè)節(jié)點(diǎn)里面都包含大廠面經(jīng)、學(xué)習(xí)筆記、源碼講義、實(shí)戰(zhàn)項(xiàng)目、講解視頻，并且后續(xù)會(huì)持續(xù)更新

如果你覺得這些內(nèi)容對你有幫助，可以添加VX：vip1024b （備注Linux運(yùn)維獲?。?/strong>