Paper: Traffic Matrix Estimation Techniques- A Survey on Current Practices | IEEE Conference Publication | IEEE Xplore

來源：2023 International Conference on Sustainable Computing and Data Communication Systems (ICSCDS)

(強烈建議搭配英文原文看！)

摘要

TME的背景和重要性：通過流量矩陣估計（traffic matrix estimation, TME）技術(shù)可以衡量在各種網(wǎng)絡(luò)組件（如交換器和路由器）間移動的交通量。TME可以用于診斷和管理網(wǎng)絡(luò)阻塞，是交通工程中重要的一部分。網(wǎng)絡(luò)使用已達到頂峰，所需的服務(wù)每天都在增加，所以流量也在增加。為了提供良好和適當(dāng)?shù)姆?wù)，需要對流量進行估計。

本文：本文檢測了TME問題和各種網(wǎng)絡(luò)類型的相關(guān)性。TME 因網(wǎng)絡(luò)而異，因此獲取 TM 的做法也各不相同。本文調(diào)研了在不同網(wǎng)絡(luò)類型中的各種TME方法，描繪了每種方法中的具體算法和性能指標(biāo)。最后，TME的應(yīng)用及對多種網(wǎng)絡(luò)的技術(shù)被分析和呈現(xiàn)。

關(guān)鍵字：交通矩陣、數(shù)據(jù)中心網(wǎng)絡(luò)、光網(wǎng)絡(luò)、交通矩陣估計、道路網(wǎng)絡(luò)、深度學(xué)習(xí)

I. Introduction

流量矩陣說明了有多少流量在起點-目的地對之間流動。TME對網(wǎng)絡(luò)算子和設(shè)計網(wǎng)絡(luò)都非常重要，包括異常檢測、規(guī)劃容量、路由配置等。由于網(wǎng)絡(luò)龐大、測量基礎(chǔ)設(shè)施不足以及龐大的起點-終點 (OD) 對，精確和準(zhǔn)確地估計 TM 通常很麻煩。

考慮到其固有的復(fù)雜性和潛在的優(yōu)化和管理操作的潛在優(yōu)勢，通信網(wǎng)絡(luò)中的 TME 長期以來一直是一個麻煩。除了容易觀察到的link load data外，一些交通流量測量可用于改善 TME。總體來看，TM表達了一個網(wǎng)絡(luò)中源-目的耦合流量關(guān)系。

網(wǎng)絡(luò)運營商對 TM 的理解對于網(wǎng)絡(luò)基礎(chǔ)設(shè)施的設(shè)計、管理和控制至關(guān)重要，例如報告、監(jiān)控、工程、流量工程等。這也引起了TME被研究了很多年了，從電話網(wǎng)絡(luò)時代開始，同時繼續(xù)經(jīng)歷互聯(lián)網(wǎng)擴張的幾個階段。

計算的高成本使得測量具有高負(fù)載特性的網(wǎng)絡(luò)（例如數(shù)據(jù)中心網(wǎng)絡(luò)）中的流量具有挑戰(zhàn)性。通過使用SNMP有可能衡量出鄰域的鏈路負(fù)載。因此，盡管有直接測量來估計流量，但已經(jīng)開發(fā)出某些成本較低的技術(shù)，這些技術(shù)使用鄰居的鏈路負(fù)載。 只有在建立了鏈路負(fù)載和流量之間的數(shù)學(xué)關(guān)系后，才能使用估算方法對TM進行估計。

II. Background

A. TME in Data Center Networks

DCN集成了多種網(wǎng)絡(luò)元素，包括交換機、路由器、其他設(shè)備等。在數(shù)據(jù)中心網(wǎng)絡(luò)中的TME必須通過觀察流量的模式來觀察交換機或服務(wù)器之間的流量軌跡。

B. TME in Optical Networks

光流網(wǎng)絡(luò)中數(shù)據(jù)通過光纖電纜傳輸，數(shù)據(jù)交流會非?？?。在光流網(wǎng)絡(luò)中，TME通過規(guī)劃網(wǎng)絡(luò)資源和考慮帶寬消耗來完成的。

C. TME in Cloud Networks

云網(wǎng)絡(luò)中所需的網(wǎng)絡(luò)資源和數(shù)據(jù)被虛擬托管在公共/私有的云上。云網(wǎng)絡(luò)的TME有助于尋找網(wǎng)絡(luò)延遲和丟包損失，通過收集網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)并用于估計資源間的流量。一些方法用神經(jīng)網(wǎng)絡(luò)預(yù)測云網(wǎng)絡(luò)中的TM。

D. TME in Road Networks

道路網(wǎng)絡(luò)是將地點和城市表示為節(jié)點，路徑表示為通過多條車道互連的邊的網(wǎng)絡(luò)。道路網(wǎng)絡(luò)中的TME 被實施以得到最短路徑并根據(jù)交通量和時間，分析比其他人更快到達目的地的路徑。深度學(xué)習(xí)模型通過原始-目的對矩陣（OD matrices）估計TM。

E. TME in SDN

SDN是一種控制平面和數(shù)據(jù)平面分離的網(wǎng)絡(luò)，這里控制平面是集中的。SDN中的TME可以通過考慮不同節(jié)點之間的多個流以及每個鏈路傳輸數(shù)據(jù)所需的負(fù)載來完成。

III. Traffic matrix estimation techniques

A. TME in Data center Networks

—— Hu, Zhiming, Yan Qiao, and Jun Luo. "ATME: Accurate traffic matrix estimation in both public and private data center networks." IEEE Transactions on Cloud Computing 6.1 (2015): 60- 73.

1. 問題建模：y(t)=Ax(t)

y(t): 時刻t的交通負(fù)載

A：路由矩陣，行代表鏈路，列代表路由

x(t)：不同可能路線之間的交通量

2. 3種算法：

• 該算法將虛擬機的進出字節(jié)作為輸入，并計算用戶分組的多個虛擬機之間的先驗流量，并將這些流量相加得出交換機的先驗流量；
• 該算法將服務(wù)放置信息作為輸入并計算交換機之間的相關(guān)系數(shù)和流量，從而得出交換機之間的先驗流量向量；
• DCN 包含冗余路由，可以通過考慮基于鏈路計數(shù)器的鏈路利用率來刪除這些冗余路由，鏈路計數(shù)器給出了最廣泛使用的鏈路和較少使用的鏈路的想法。 因此刪除了具有最低利用率的鏈接。 該算法有助于忽略用戶不常使用的鏈接，從而使 DCN 中的路由最小化成為可能.

3. 性能指標(biāo)：RMSE(\tau)，RE， RMSE

B. TME using Tomogravity Space(斷層重力空間) in Data center networks

—— Liu, Guiyan, et al. "Tomogravity space based traffic matrix estimation in data center networks." Future Generation Computer Systems 86 (2018): 39-50.

不需要先驗的TM就可以進行TM估計：他們提出了兩種迭代算法，通過使用距離作為減少或處理估計誤差的因素來估計重力和斷層重力空間之間的 TM。

1. 問題建模：Y=AX

Y：交通負(fù)載

A：路由矩陣，行代表總的交通鏈路，列代表需要尋找的不同可能路徑之間的交通流量需求。

2. 2種算法：

• 第一種算法使用基于流量特征計算的先驗 TM。將TME分解為幾個小的TM問題，考慮了3種交換源、核心和目的地，從而將空間劃分為斷層重力空間和重力空間，并致力于生成先驗的 TM，并在生成的先驗TM上工作。
• 第二種算法利用沒有先驗 TM 的中等鏈路的缺失數(shù)據(jù)。通過使用重力空間進行正則化，目的是在某些鏈接數(shù)據(jù)丟失時分析 TM 的結(jié)果。

3. 性能指標(biāo)：RMSRE(\tau)，RE， MRE

這一小節(jié)可參考：流量矩陣常見的兩種估計方法對比_網(wǎng)絡(luò)流量矩陣_kiki喜歡吃蛋糕的博客-CSDN博客 幫助理解

C. Origin-Destination(OD) traffic matrix prediction using deep learning（用于馬路網(wǎng)絡(luò)）

—— Pamu?a, Teresa, and Renata ?ochowska. "Estimation and prediction of the OD matrix in uncongested urban road network based on traffic flows using deep learning." Engineering Applications of Artificial Intelligence 117 (2023): 105550

1. 問題建模：

OD矩陣如下，其中n_0代表original的節(jié)點數(shù)，n_d代表目的節(jié)點的總數(shù)。

優(yōu)化函數(shù)：

2. 算法：第一部分關(guān)注開發(fā)給定的城市馬路網(wǎng)絡(luò)的模型；第二部分估計先驗矩陣；第三部分訓(xùn)練模型；最后一步進行預(yù)測。

3. 評價指標(biāo)：MAPE、RMSE

D. Traffic Matrix Prediction using recurrent neural network (RNN)（用于光網(wǎng)）

—— Mesquita, Leonardo AJ, et al. "Resource planning on elastic optical networks using traffic matrix prediction." AEU-International Journal of Electronics and Communications 134 (2021): 153615.

1. 問題建模：表示流量數(shù)據(jù)需要花費許多時間，通過將其刻畫為線性回歸模型來解決交通流量隨時間增長的問題以對交通進行模擬。

2. 算法：

• 最短路徑是算法的目標(biāo)。如果兩個路徑的距離相同，將對網(wǎng)絡(luò)鏈路施加最少最大負(fù)載的路徑。
• 選擇減少每個網(wǎng)絡(luò)鏈路上最大負(fù)載的路徑是算法的目標(biāo)。如果兩條路徑具有相同的負(fù)載，則將選擇最短的鏈路。

3. 評價指標(biāo)：MSE

E. TME using Convolution Neural Network(CNN) techniques（用于云網(wǎng)）——R-CNTME

—— Memon, Rashida Ali, Sameer Qazi, and Bilal Muhammad Khan. "Design and implementation of a robust convolutional neural network-based traffic matrix estimator for cloud networks." Wireless Communications and Mobile Computing 2021 (2021): 1-11.

1. 問題建模：Y=AX

Y：鏈路數(shù)量的矩陣；

A：路由矩陣；

X：交通矩陣

2. 算法：用到了時空技術(shù)，比如貝葉斯估計、線性優(yōu)化等（迷惑發(fā)言，這些技術(shù)和時空有直接關(guān)系嗎）

3. 評價指標(biāo)：Spatial Relatvie Error(SRE), Temporal Relative Error (TRE), Bias(i)

F. TM Prediction using gated recurrent unit (GRU) and long short-term memory neural network (LSTM)

——Aloraifan, Dalal, Imtiaz Ahmad, and Ebrahim Alrashed. "Deep learning based network traffic matrix prediction." International Journal of Intelligent Networks 2 (2021): 46-56.

支持多個神經(jīng)網(wǎng)絡(luò)以鏈?zhǔn)降姆绞蕉询B以得到高的精讀。CNN是基本構(gòu)建塊，LSTM和GRU根除了RNN的問題。

1. 問題建模：CNN層用于導(dǎo)出每個節(jié)點的區(qū)域交通流量相關(guān)性，并且克服他們使用 LSTM 來處理時間依賴性的問題。CNN+LSTM。

2. 算法：運行CNN模型弄清楚局部相關(guān)性；運行LSTM層找到時域依賴；應(yīng)用Bi-LSTM層。

3. 評價指標(biāo)：MSE，RMSE， MAE

G. Gradient-enhancing Device for determination of Large flows

——Liu, Guiyan, et al. "SDN-based traffic matrix estimation in data center networks through large size flow identification." IEEE Transactions on Cloud Computing 10.1 (2019): 675-690

提出貪婪啟發(fā)式算法，在網(wǎng)絡(luò)中尋找large size flows以提升TM的預(yù)測精度。

開始時，分析所有的TM并識別large-sized flows。支持 SDN 的交換機將這些flows用作資源有限的三元內(nèi)容可尋址存儲器 (Ternary Content Addressable Memory, TCAM) 中的entries。作者提出了一個a source node prefix t ree-based bit merging aggregation (SPTBMA)，這些規(guī)則被嵌入TCAM中。

1. 問題建模：BP=Q，

B：表示節(jié)點和鏈路鏈接的二進制矩陣

P，Q：鏈路負(fù)載向量

2. 算法：提出一個貪婪啟發(fā)式算法選擇SDN中的large-size flows，以克服TCAM有限測量的問題。先生成所有SDN階段的集合記為SN^|v|，可能的SDN節(jié)點被記為SN^|s|，SDN-enabled switches表示為|S|，算法被用于求解下式：

3. 評價指標(biāo)：NMSE, RSNE

H. Forecasting traffic data by using dynamic graph convolution network

——Guo, Kan, et al. "Dynamic graph convolution network for traffic forecasting based on latent network of Laplace matrix estimation." IEEE Transactions on Intelligent Transportation Systems 23.2 (2020): 1009-1018使用動態(tài)圖的拉普拉斯矩陣以及確定交通數(shù)據(jù)特征的潛在網(wǎng)絡(luò)

1. 問題建模

為了實施 DGCN，作者將問題表述為在一定時間內(nèi)的單個網(wǎng)絡(luò)單元，并且為了利用周期性預(yù)測數(shù)據(jù)，他們對不同時期的輸入數(shù)據(jù)進行了采樣，最近的數(shù)據(jù)記錄為x_{Th}，日數(shù)據(jù)和周數(shù)據(jù)記錄為x_{Td}，x_{Tw}，拉普拉斯矩陣記錄為L_p

2. 算法

• Laplace Metrix Latent Network(LMLN): 表達時空關(guān)系并將其輸入到GCN中以形成DGCN。LMLN是一個拉普拉斯矩陣然后被轉(zhuǎn)化為幾個單元，最終是一個動態(tài)的拉普拉斯矩陣。
• GCN-based traffic forecasting algorithm: 從時域卷積層提取高維局部交通數(shù)據(jù)，采用記錄大量交通數(shù)據(jù)所需的時間焦點，最后激活時間注意力的輸出數(shù)據(jù)。

3. 評價指標(biāo)：MAE，RMSE

I. TME on the basis of Flow observations Resampling

—— Kase, Simon, Masato Tsuru, and Masato Uchida. "Accurate OD Traffic Matrix Estimation Based on Resampling of Observed Flow Data." 2018 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). IEEE, 2018.
提出了一個逆函數(shù)，它確定映射到單個流量的流量概率曲線。在前面討論的下降到零的概率曲線為正的假設(shè)下，該策略是可行的。 為了避免獲得的值的影響，還建議對測量數(shù)據(jù)進行重采樣。

1. 問題建模：將提出的函數(shù)應(yīng)用于考慮的拓?fù)渖?，他的整?shù)值從0到M。X_i: 每個單位時間內(nèi)每個流的數(shù)量；Y_j: 集成的流量強度。

2. 算法：分析測量數(shù)據(jù)變化對估計值的影響意味著增加逆模型的估計精度。重采樣測量數(shù)據(jù)是方法的基礎(chǔ)。具體地，從aggregated flows中重復(fù)采樣數(shù)據(jù)以提供大量的replicated measurement data?；谶@些重復(fù)的數(shù)據(jù)，對每個flow各種各樣的概率模型被創(chuàng)建。對ODTM估計問題，概率模型在提供一對解概率前創(chuàng)建，這些解概率被預(yù)測以聚類實際的解。

關(guān)鍵思想是評估候選解的預(yù)測精度，以消除測量值變化的影響，而不是將其最小化。

3. 評價指標(biāo)：

J. Genetic algorithm-based TME from link load

—— Pachuau, Joseph L., et al. "Estimation of traffic matrix from links load using genetic algorithm." Scalable Computing: Practice and Experience 22.1 (2021): 29-38

盡管link loads易于手機，但不能提供精準(zhǔn)的TM值?；赥M和link load的關(guān)系，設(shè)計了一個擁有無限解的系統(tǒng)。網(wǎng)絡(luò)中的每個連接都通過link measurements鏈路測量獲得traffic information流量信息。不用SNMP，這些值從路由器中快速地獲得(simple network management protocal).

1. 問題建模：A.X=Y

A: routing matrix

Y: link loads

2. 算法：遺傳算法提供了重力模型結(jié)果。首先，重力模型作為一個起始點，用TM和link load間的連接作為模型的主要函數(shù)。GA揭露了最小解?？梢允褂?GA 進一步改進重力模型解決方案，使其更接近鏈路測量。

3. 評價指標(biāo)：RMSE

K. TME using the Levenberg-Marquardt algorithm

—— Mekaouil, S., C. Benhamed, and K. Ghoumid. "Traffic matrix estimation using the Levenberg-Marquardt neural network of a large IP system." Data Management and Security: Applications in Medicine, Sciences and Engineering 45 (2013): 85.
L-M算法：非線性回歸中回歸參數(shù)最小二乘估計的一種估計方法

2種L-M神經(jīng)網(wǎng)絡(luò)算法用于估計交通流：static feedforward和dynamic neural network algorihm

1. 問題建模：Y(t)=A.X(T)

A: routing matrix

Y(t)：links charges

X(T): traffic matrix

2. 算法：用L-M算法降低 TME 的成本。

3. 評價指標(biāo)：用線性回歸模型，Y=mX+b衡量實際值和預(yù)估值的關(guān)系。

L. Origin-Destination(OD) traffic matrix prediction using deep learning

—— Lorenzo, Mussone, and Matteucci Matteo. "OD matrices network estimation from link counts by neural networks." Journal of Transportation Systems Engineering and Information Technology 13.4 (2013): 84-92.

提出多層前饋神經(jīng)網(wǎng)絡(luò)，分析了OD矩陣和links間的關(guān)系。

1. 問題建模：PCA用于減少維度，X=USV’，X:數(shù)據(jù)集，U：在主成分空間中的映射，S：對角陣，V'：主成分的行；

2. 算法：用神經(jīng)網(wǎng)絡(luò)估計OD矩陣。

3. 評價指標(biāo)：協(xié)方差矩陣。

IV. CONTRAST BETWEEN DIFFERENT TRAFFIC MATRIX ESTIMATION TECHNIQUES

以上方法的對比表文章來源地址http://www.zghlxwxcb.cn/news/detail-479470.html

到了這里，關(guān)于流量矩陣估計綜述Traffic Matrix Estimation Techniques- A Survey on Current Practices的文章就介紹完了。如果您還想了解更多內(nèi)容，請在右上角搜索TOY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！