<acronym id="owqss"><center id="owqss"></center></acronym>
<acronym id="owqss"></acronym>
<acronym id="owqss"><center id="owqss"></center></acronym>

基于改進的長短期記憶網絡的調制識別算法

任思睿 黃銘

引用本文:
Citation:

基于改進的長短期記憶網絡的調制識別算法

    作者簡介: 任思睿(1994?),男,云南人,碩士生,研究方向為調制識別. E-mail:1933406001@qq.com;
    通訊作者: 黃銘, huangming@ynu.edu.cn
  • 中圖分類號: TP 391

A modulation classification algorithm using modified LSTM network

    Corresponding author: HUANG Ming, huangming@ynu.edu.cn
  • CLC number: TP 391

  • 摘要: 自動調制分類技術是無線通信技術中的一個重要研究領域,卷積神經網絡以及長短期記憶網絡(Long Short-Term Memory,LSTM)兩種深度學習模型在基于特征的自動調制分類技術中得到了廣泛的應用. 然而在實際應用中這兩種模型都存在著一些問題,卷積神經網絡模型在處理長時間依賴序列的分類任務時的準確率不佳,LSTM模型的時間性能會隨著輸入數據規模的增大顯著下降. 針對以上問題,提出一種基于帶有注意力機制的LSTM網絡的調制識別算法. 首先讀取一定采樣長度的信號原始數據,并通過長短期記憶網絡提取信號特征;然后利用注意力機制為學習到的特征分配權重以減少數據冗余;最后分類器根據學習到的特征輸出分類結果. 仿真實驗結果表明,新算法能以較低的時間代價取得較高的準確率.
  • 圖 1  Attention模型一般結構

    Figure 1.  Standard structure of Attention model

    圖 2  結合Attention機制的LSTM網絡結構

    Figure 2.  LSTM network structure combined with attention mechanism

    圖 3  雙層CNN網絡在不同信噪比下的準確率

    Figure 3.  Classification accuracy of 2-layers CNN on different SNRs

    圖 4  雙層LSTM網絡在不同信噪比下的準確率

    Figure 4.  Classification accuracy of 2-layers CNN on different SNRs

    圖 5  帶有注意力機制的LSTM網絡在不同信噪比下的準確率

    Figure 5.  Classification accuracy of Attention-based LSTM network on different SNRs

    圖 6  雙層LSTM網絡的訓練表現

    Figure 6.  Training performance of 2-layers LSTM

    圖 7  帶有注意力機制的LSTM網絡的訓練表現

    Figure 7.  Training performance of Attention-based LSTM network

    圖 8  帶有注意力機制的LSTM網絡的混淆矩陣

    Figure 8.  Confusion matrix of Attention-based LSTM

    表 1  RadioML2016.10a數據集的參數

    Table 1.  The parameters of RadioML2016.10a dataset

    信號調制方式種類8PSK,AM-DSB,AM-SSB,BPSK,CPFSK,GFSK,PAM4, QAM16, QAM64, QBSK, WBFM
    采樣長度128
    信號信噪比范圍/dB?20~18
    訓練集樣本數82 500
    測試集樣本數82 500
    下載: 導出CSV

    表 2  3種算法在不同信噪比下的準確率

    Table 2.  Accuracies of three algorithms on different SNR

    信號信噪比/dBCNN網絡識別準確率/%LSTM網絡識別準確率/%Attention-based LSTM網絡識別準確率/%
    ?2071011
    ?1591112
    ?10182224
    ?5555358
    0768185
    5818890
    10818891
    15808891
    18818992
    下載: 導出CSV

    表 3  3種算法的平均單次迭代時間

    Table 3.  Average single epoch time of three algorithm

    網絡模型平均單次迭代時間/s
    雙層CNN190
    雙層LSTM430
    帶有Attention機制的LSTM網絡232
    下載: 導出CSV
    鸿禾娱乐
  • [1] 楊發權. 無線通信信號調制識別關鍵技術與理論研究[D].西安: 西安電子科技大學, 2015.

    Yang F Q. Research on key technology and theory of wireless communication signal[D].Xi’an: Xidian University, 2015.
    [2] Zheleva M, Chandra R, Chowdhery A.Txminer: Identifying transmitters in real-world spectrum measurements[C]//Proc IEEE Int Symp Dyn Spectr Access Netw (DySPAN), Stockholm, Sweden, 2015: 94-105.
    [3] Hong S S, Katti S R. DOF: a local wireless information plane[C]//Proc.of ACM SIGCOMM, Toronto Ontario Canadam, 2011: 230-241.
    [4] 張春磊, 楊小牛. 認知電子戰初探[J]. 通信對抗, 2013(2): 1-4. Zhang C L, Yang X N. Primary Study of Cognitive Electronic Warfare[J]. Communication Countermeasures, 2013(2): 1-4.
    [5] Yu Z. Automatic modulation classification of communication signals[C]//Ph.D. dissertation, Dept. Elect. Comput. Eng., New Jersey Inst. Technol., Newark, NJ, USA, 2006.
    [6] Vincent C, Stéphane A, Koffi C Y, et al. Modulation recognition for MIMO communications[J]. Military Technical Academy Review, 2009(2): 183-196.
    [7] Shea T J, Clancy T C, Mcgwier R W. Recurrent neural radio anomaly detection[S]. GB/T 7714O, 2016.
    [8] Choqueuse V, Marazin M, Collin L, et al. Blind recognition of linear space–time block codes: A likelihood-based approach[J]. IEEE Transactions on Signal Processing, 2010, 58: 1 290-1 299. DOI:  10.1109/TSP.2009.2036062.
    [9] Huang S, Yao Y, Xiao Y. Cumulant based maximum likelihood classification for overlapped signals[J]. Electronic Letters, 2016, 52(21): 1 761-1 763. DOI:  10.1049/el.2016.2409.
    [10] Ghasemzadeh P, Banerjee S, Hempel M, et al. Accuracy analysis of feature-based automatic modulation classification with blind modulation detection[C]//2019 International Conference on Computing, Networking and Communications (ICNC), Honolulu, HI, USA, 2019: 1 000-1 004.
    [11] Lee J H, Kim K, Shin Y.Feature image-mased automatic modulation classification method using CNN algorithm[C]//International Conference on Artificial Intelligence in Information and Communication (ICAⅡC), Okinawa, Japan, 2019: 1-4.
    [12] Xu Y, Li D, Wang Z, et al. A deep learning method based on convolutional neural network for automatic modulation classification of wireless signals[J]. Wireless Network, 2019, 25: 3 735-3 746. DOI:  10.1007/s11276-018-1667-6.
    [13] West N E, O’Shea T.Deep architectures for modulation recognition[C]//IEEE Int. Symp. Dyn. Spectr. Access Netw. (DySPAN), Piscataway, NJ, USA, Mar. 2017: 1–6
    [14] Rajendran S, Meert W, Giustiniano D. Deep learning models for wireless signal classification with distributed low-cost spectrum sensors[J]. IEEE Transactions on Cognitive Communications and Networking, 2018, 4(3): 433-445. DOI:  10.1109/TCCN.2018.2835460.
    [15] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural Computation, 1997, 9: 1 735-1 780. DOI:  10.1162/neco.1997.9.8.1735.
    [16] Malhotra P, Vig L, Shroff G.Long short-term memory networks for anomaly detection in time series[C]//European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, Belgium, 2015.
    [17] Malhotra P, Ramakrishnan A, Anand G, et al. LSTM-based encoder-decoder for multi-sensor anomaly detection[J]. 2016.
    [18] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. arXiv, 2017.
    [19] Zeng Y, Guo X, Wang H, et al.Efficient dual attention module for real-time visual tracking[C]//IEEE Visual Communications and Image Processing (VCIP), Sydney, Australia, 2019: 1-4.
    [20] Xiang X, Zhai M, Zhang R, et al.Optical flow estimation using spatial-channel combinational attention-based pyramid networks[C] //IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, 2019: 1 272-1 276.
    [21] Wang Q, Teng Z, Xing J, et al. Learning attentions: residual attentional siamese network for high performance online visual tracking[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018.
    [22] Yang S, Yang C, Feng D, et al. One-dimensional deep attention convolution network (ODACN) for signals classification[J]. IEEE Access, 2020, 8: 2 804-2 812. DOI:  10.1109/ACCESS.2019.2958131.
    [23] O'SHEA, Timothy J. Radio machine learning dataset generation with GNU radio[C]//Proceedings of the GNU Radio Conference, University of Colorado, Boulder, 2016.
  • [1] 楊志軍毛磊丁洪偉 . 基于長短期記憶網絡的輪詢系統性能預測. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20190351
    [2] 佘明輝林琳趙東風 . 自適應多通道二維概率型時隙式隨機多址無線通信網絡協議分析. 云南大學學報(自然科學版),
    [3] 焦紅虹周浩方淇 . 基于光流場的時間分段網絡行為識別. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20170750
    [4] 周摯劉瓊仙梁虹全海燕張婕曠昆萍崔建文王建劉慶 . 流動強震觀測無線接入遠程通信實用方案. 云南大學學報(自然科學版),
    [5] 袁剛周冬明聶仁燦 . 基于簡化脈沖耦合神經網絡的噪聲人臉識別. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20150056
    [6] 趙光蘭周冬明趙東風聶仁燦 . 脈沖耦合神經網絡的人臉識別方法. 云南大學學報(自然科學版),
    [7] 趙光蘭周冬明趙東風聶仁燦 . 脈沖耦合神經網絡的人臉識別方法. 云南大學學報(自然科學版),
    [8] 邱爽聶仁燦周冬明李興葉 . 自歸一化卷積神經網絡的人臉識別方法. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20170436
    [9] 孫雪華潘曉英 . 基于PSO-CG優化深度信念網絡的人臉表情識別. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20190471
    [10] 虞雙吉苗春生王新 . 極限學習機神經網絡在短期降水預報中的應用. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20120670
    [11] 余鵬飛劉兵 . 改進的ART1網絡及其在英文字符識別中的應用. 云南大學學報(自然科學版),
    [12] 周永錄代紅兵 . 無線傳感器網絡序列定位改進算法研究. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.2013b34
    [13] 夏金虎李俊霖陳宇紅 . 物聯網無線傳感網絡安全協議建模研究. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.2013b27
    [14] 姜勇 . 基于ADTD監測網絡2012年云南省地閃特征分析. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20130568
    [15] 彭藝蘇黎韡宋浩 . 一種優化的 CDMA-Underlay 模式下無線認知蜂窩用戶資源分配機制. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20140506
    [16] 楊艷華蘇紅軍周永錄徐斌黃燕燕陳明偉 . 通用的網絡交換設備通信死機檢測及恢復裝置設計. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.2014a07
    [17] 楊志民馬永杰擺玉龍馬義德 . 采用0.13μm CMOS工藝開關電容ΔΣ調制器的設計和實現. 云南大學學報(自然科學版),
    [18] 吳海龍柏正堯張瑜劉丹妮檀磊 . 基于改進調制寬帶轉換器的射電天文信號采樣及恢復. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20170159
    [19] 張強龍華王晨歌邵玉斌 . 基于有向通信網絡的鏈路重要性評價方法*. 云南大學學報(自然科學版), doi: 10.7540/j.ynu.20160096
    [20] 劉博趙東風丁洪偉李懷義 . 概率檢測非堅持聯合控制多通道無線傳感器網絡控制協議分析. 云南大學學報(自然科學版),
  • 加載中
圖(8)表(3)
計量
  • 文章訪問數:  111
  • HTML全文瀏覽量:  95
  • PDF下載量:  2
  • 被引次數: 0
出版歷程
  • 網絡出版日期:  2020-09-22

基于改進的長短期記憶網絡的調制識別算法

    作者簡介:任思睿(1994?),男,云南人,碩士生,研究方向為調制識別. E-mail:1933406001@qq.com
    通訊作者: 黃銘, huangming@ynu.edu.cn
  • 云南大學 信息學院,云南 昆明 650500

摘要: 自動調制分類技術是無線通信技術中的一個重要研究領域,卷積神經網絡以及長短期記憶網絡(Long Short-Term Memory,LSTM)兩種深度學習模型在基于特征的自動調制分類技術中得到了廣泛的應用. 然而在實際應用中這兩種模型都存在著一些問題,卷積神經網絡模型在處理長時間依賴序列的分類任務時的準確率不佳,LSTM模型的時間性能會隨著輸入數據規模的增大顯著下降. 針對以上問題,提出一種基于帶有注意力機制的LSTM網絡的調制識別算法. 首先讀取一定采樣長度的信號原始數據,并通過長短期記憶網絡提取信號特征;然后利用注意力機制為學習到的特征分配權重以減少數據冗余;最后分類器根據學習到的特征輸出分類結果. 仿真實驗結果表明,新算法能以較低的時間代價取得較高的準確率.

English Abstract

  • 隨著無線通信技術的發展,無線電資源逐漸成為一種重要的國家戰略資源. 為了保證無線通信安全運作,無線通信調制識別技術越來越重要[1]. 然而傳統的無線通信調制識別技術主要基于操作員的部分先驗知識進行人工監測與分類,在通訊環境愈發復雜的今天,傳統的調制識別技術已經很難滿足實際應用的需要.

    自動調制分類(Automatic Modulation Classification,AMC)技術在這樣的背景下應運而生,且在軍民領域都有了許多的實際應用[1-7]. 在軍事領域上,準確識別通信信號的調制類型往往意味著能通過估計參數來設計解調模型,從而截獲關鍵信息,可以針對性地進行軍事行動規劃和部署. 在民用領域中,常有不法分子通過黑廣播等方式傳播有害信息,相關部門可以利用通信信號調制識別技術區分正常信號和非法信號,從而打擊非法無線電活動,保障無線通信安全. 在實際運用中,自動調制分類技術可以設計一個自動區分識別調制方式的分類器,通過調制方式來確定信號種類,監測無線信號是否存在自然干擾與人為干擾.

    AMC技術可以分為兩類[1],基于決策論的和基于特征的. 基于決策論的AMC技術主要以最大似然準則為依據來分類調制方式,理論上這類方法有著最低的誤判率,然而在處理大量數據時計算復雜度過大是這類方法的一個嚴重缺陷,同時由于設計或選擇似然函數時需要足夠的先驗知識,該類算法在信道狀況未知或信道存在時偏、頻偏等誤差時識別精度會明顯下降[8-9]. 基于特征的AMC技術由于近年來機器學習的迅速發展而逐漸成為主流,主要是針對調制方式的一些特征量,通過監督或非監督學習的方式訓練神經網絡,最后進行分類與識別[10-11]. 當算法選擇適當時,基于特征的AMC技術具有易于實施且準確率比較理想的優勢,然而現有的一些基于神經網絡的調制識別算法也存在一些問題. 文獻[12]將數字調制信號通過連續波多普勒(Continuous Wave Doppler,CWD)架構進行時頻域的轉換,生成信號對應的二維灰度圖,再以這些灰度圖為數據集使用一種有自適應性的卷積神經網絡進行訓練并分類信號,該方法需要生成信號的灰度圖,這在實際應用中會增加系統結構的復雜度;文獻[13]采用了一種基于雙層卷積神經網絡(Convolution Neural Network,CNN)的分類器,該模型的輸入為時域的同相正交(I/Q)信號,可以識別不同信噪比下的調制信號,由于CNN模型對長時間依賴序列的分類任務表現不佳,其識別精度很難達到最優. 文獻[14]設計了一種基于雙層長短期記憶(Long Short-Term Memory,LSTM)網絡的自動調制分類模型,經過參數調優與對比實驗,該模型與支持向量機(Support Vector Machine,SVM),隨機森林,K近鄰和淺層CNN等多種算法相比,對信噪比范圍為-20~20dB的多種數字調制信號有著更高的識別準確率,對比發現使用雙層LSTM結構網絡可以達到最優分類性能,但由于LSTM網絡的結構特點該算法時間代價較高.

    以上分析可以看出,在基于深度學習的自動調制識別中,使用CNN模型需要將信號原始特征轉換為圖形特征再進行訓練,而LSTM模型是一種遞歸網絡,常用的GPU并行加速方法無法有效提高其訓練效率,導致隨著輸入數據量的增大與層數的加深,訓練時間會大大增加. 在自然語言處理領域中,常用Attention機制讓模型能在訓練中更加關注那些比較重要的特征,減少模型中的參數量. 為了充分利用LSTM網絡在處理長時間依賴序列的優勢,同時改善LSTM網絡在處理大數據集時較低的訓練效率,本文設計了一種基于LSTM網絡與Attention機制的無線通信信號調制識別算法. 該算法可以有效學習信號的原始特征,避免實際應用中無謂的系統資源浪費;同時Attention機制的引入使本文設計的算法相較于其他基于LSTM網絡的調制識別算法在訓練效率與準確率上都有明顯的提升.

    • LSTM網絡通過引入一種自循環的機制,使梯度可以隨時間變化而變化,從而讓自循環過程中的權重根據輸入信息動態地變化. 通過門控該種自循環的權重,累積的時間尺度也能進行動態變化. 這種特性讓LSTM網絡即使在固定參數的情況下,其累積的時間尺度也會隨著輸入序列的變化而改變[15].

      與傳統的循環神經網絡在每個時間步都重寫記憶不同,長短期記憶網絡會將其學習到的重要特征保存為長期記憶,并根據學習的進行選擇性的保留、更新或者遺忘已保存的長期記憶,而在多次迭代中權重始終很小的特征則會被網絡視為短期記憶并最終被遺忘. 這種機制使得重要的特征信息會隨著迭代的進行一直傳遞,讓網絡在處理樣本具有長時間依賴性的分類任務中有著更好的性能表現[16-17].

      LSTM與普通循環網絡類似,每個單元具有相同的輸入與輸出,但同時LSTM也有更多的參數和控制信息流動的門控單元系統. LSTM最重要的組成部分是狀態單元 $ {s}_{i}^{\left(t\right)} $,其自環的權重由遺忘門 $ {f}_{i}^{\left(t\right)} $ 控制(其中t代表時刻,i代表第i個神經元),由sigmoid單元設置為0和1之間的值. 相應的前向傳播公式為:

      $ {f}_{i}^{\left(t\right)}=\sigma \left(_{i}^{f}+\sum _{j}{U}_{i,j}{x}_{j}^{\left(t\right)}+\sum _{j}{W}_{i,j}^{f}{h}_{j}^{\left(t-1\right)}\right), $

      其中 $ {x}^{\left(t\right)} $ 是當前輸入向量,$ {h}^{\left(t\right)} $ 是當前隱藏層輸出向量,$ ^{f} $、$ {U}^{f} $、$ {W}^{f} $ 分別是偏置、輸入權重和遺忘門的循環權重.

    • Ashish Vaswani等于2017年提出了在深度學習中加入Attention機制以提升模型性能[18],Attention借鑒了人腦鑒別事物的特點,即專注于事物的某些顯著特征,模糊一些不重要的細節,這使人將有限的注意力放在大腦認為重要的地方,提高工作效率,因此Attention機制最初主要被應用于圖像識別的領域. 經過一段時間的研究發現,Attention機制與常見于自然語言處理領域的Encoder-Decoder模型能很好的結合,Encoder-Decoder模型較強的通用性,Attention機制開始在不同的領域流行[19-20]. Attention模型一般結構如圖1[21]所示.

      圖  1  Attention模型一般結構

      Figure 1.  Standard structure of Attention model

      圖1$ {X}_{1} $、$ {X}_{2} $、$ {X}_{3} $、$ {X}_{4} $ 由原始數據A、B、C、D經過編碼得到,經過 $ {Z}_{0} $ 的Attention權值向量 $ \overline{A} $ 加權后再歸一化產生 $ {C}_{0} $ 并將其輸入到解碼器,其中 $ \overline{A} $ 通過一種對齊概率的計算方式得到,這種函數一般稱為評分函數. 文中使用最常用的乘積矩陣,其公式為[20]

      $ S({h}_{t},{\stackrel{-}{h}}_{s})={h}_{t}^{T}{\stackrel{-}{h}}_{s}. $

    • 在基于特征的AMC技術中常用的深度學習主要是CNN模型與LSTM模型. CNN模型由于對長時間依賴序列處理能力不佳,基于CNN模型的調制識別技術一般需要先將信號原始特征轉換為圖像特征再傳入CNN進行學習,這在實際應用中往往會大幅增加系統架構的復雜程度. 而基于LSTM的調制識別技術在輸入數據量增加或者網絡層數增加時訓練的時間代價會迅速增長.

      近年來開始將Attention機制運用于信號識別鄰域的應用[22],深層網絡在學習調制信號頻譜經過圖像編碼產生的灰度圖特征后對MPSK、FSK、AM、QPSK信號進行了分類,其對信噪比為-20dB的信號分類準確率為48%,對信噪比為20dB的信號分類準確率為98%.

      本文設計了一種帶有Attention機制的LSTM網絡無線通信調制分類算法. 首先通過LSTM網絡提取信號的原始特征,再利用Attention機制為經過LSTM提取的特征向量分配注意力權重,將那些較為“顯著”的特征集合進行高度總結后輸入分類器產生分類結果. Attention機制的引入可以使模型在訓練時始終關注那些較為“顯著”的特征,不僅可以降低訓練時的參數從而提升訓練效率,還能提升模型的分類準確率.

      本文設計的算法的結構框圖如圖2所示.

      圖  2  結合Attention機制的LSTM網絡結構

      Figure 2.  LSTM network structure combined with attention mechanism

      輸入層讀取數據集中的數據向量并將其傳入網絡.

      LSTM層主要負責接收樣本數據并從樣本數據中學習特征信息. 其神經元個數為128,采用L2正則化,L2范數為0.001,同時設置網絡為雙向網絡,即后一個神經元的狀態值也會反向傳回前一個節點.

      Attention層主要負責對LSTM層中學習到的特征集合分配相應的注意力權重. 該層采用sigmoid激活函數,評分函數為乘積矩陣. 由于數據集中向量個數也是輸入向量的一個維度,我們希望這一維的每一個向量單獨擁有一個Attention權重,即每一個輸入都對應Attention層的一個輸出因此需要將Attention層放在LSTM層之后.

      全連接層將得到的特征向量經過softmax分類器歸一化產生分類概率并將其輸出.

      本文訓練模型時損失函數為交叉熵損失函數,優化器采用AdamOptimizer,具體的訓練過程如下所示:

      步驟1 初始化模型中的超參數,其中學習率設定為0.0001;

      步驟2 將訓練集中的154 000個樣本用大小為256的batch進行切分;

      步驟3 隨機的選取一個生成的batch送入神經網絡進行訓練;

      步驟4 LSTM層對輸入網絡的batch中的數據進行特征提取,再由Attention層為提取后的特征圖設置注意力權重,最終全連接層根據注意力加權后的特征圖生成分類向量并由softmax分類器輸出分類結果;

      步驟5 根據交叉熵損失函數計算本次訓練的損失;

      步驟6 Adam優化器根據本次訓練結果更新網絡的超參數;

      步驟7 將步驟3至6定義為模型的一次迭代過程,重復這種迭代直至模型的分類準確率在多次迭代后已不再發生明顯的改變.

    • 本文使用RadioML2016.10a數據集[23]來驗證本文所設計的算法,該數據集的具體參數見表1.

      信號調制方式種類8PSK,AM-DSB,AM-SSB,BPSK,CPFSK,GFSK,PAM4, QAM16, QAM64, QBSK, WBFM
      采樣長度128
      信號信噪比范圍/dB?20~18
      訓練集樣本數82 500
      測試集樣本數82 500

      表 1  RadioML2016.10a數據集的參數

      Table 1.  The parameters of RadioML2016.10a dataset

      該數據集通過GNU Radio生成,數據為涵蓋了各種被廣泛使用的調制方式的正交同相(I/Q)信號,同時該數據集中的數據也存在如多徑衰落產生的高斯白噪聲、頻率偏移等常見的信道誤差,信噪比范圍廣,能較為真實地模擬各種情況的信號.

    • 為了驗證LSTM網絡在學習信號原始特征時是否較CNN具有優勢,使用RadioML2016.10a數據集分別訓練文獻[13]提出的雙層CNN模型以及文獻[14]提出的雙層LSTM模型,并比較它們對不同信噪比信號的分類準確率. 本文的實驗平臺為:Intel Corei7-8700 CPU @ 3.20GHz的處理器; NVIDIA Geforce GTX 1070;內存16G.

      其實驗結果分別如圖3、圖4所示. 圖3中CNN2模型的分類準確率在樣本信噪比為18dB時為81%,而圖4中雙層LSTM網絡模型在相同信噪比下的識別準確率達到了89%.

      圖  3  雙層CNN網絡在不同信噪比下的準確率

      Figure 3.  Classification accuracy of 2-layers CNN on different SNRs

      圖  4  雙層LSTM網絡在不同信噪比下的準確率

      Figure 4.  Classification accuracy of 2-layers CNN on different SNRs

      可以看出雙層LSTM網絡模型的總體識別準確率比雙層CNN模型有較大優勢,證實了本文選用LSTM模型作為學習信號原始特征的基準模型的正確性. 接著對比雙層LSTM模型與本文設計算法的總體準確率如圖5所示,可以看出在引入注意力機制后LSTM網絡的分類準確率在信號信噪比為18dB時可以達到92%,可見本文提出的算法具有較高的分類準確率.

      圖  5  帶有注意力機制的LSTM網絡在不同信噪比下的準確率

      Figure 5.  Classification accuracy of Attention-based LSTM network on different SNRs

      雙層CNN模型、雙層LSTM模型與本文設計模型的具體準確率如表2所示,對信噪比范圍-20dB到+18dB的信號本文提出的算法的識別準確率都高于傳統的CNN網絡以及LSTM網絡的識別準確率.

      接著對雙層LSTM網絡與本文設計算法的訓練表現進行了對比(圖6、7),可以看出在引入Attention機制后模型的泛化性能也有了一定的提升. 雙層LSTM網絡在迭代20次之后就出現了過擬合的現象,而帶有Attention機制的LSTM網絡在訓練過程中訓練集與測試集的擬合程度始終較好.

      信號信噪比/dBCNN網絡識別準確率/%LSTM網絡識別準確率/%Attention-based LSTM網絡識別準確率/%
      ?2071011
      ?1591112
      ?10182224
      ?5555358
      0768185
      5818890
      10818891
      15808891
      18818992

      表 2  3種算法在不同信噪比下的準確率

      Table 2.  Accuracies of three algorithms on different SNR

      圖  6  雙層LSTM網絡的訓練表現

      Figure 6.  Training performance of 2-layers LSTM

      圖  7  帶有注意力機制的LSTM網絡的訓練表現

      Figure 7.  Training performance of Attention-based LSTM network

      進一步對比分析Attention機制對網絡訓練效率的影響,上述3種調制識別算法的平均單次迭代時間如表3所示,可以看出Attention機制的引入減少了訓練過程中的參數數量,降低了訓練中的時間消耗,帶有Attention機制的LSTM網絡的單次迭代時間平均僅為232 s,僅為雙層LSTM模型平均單次迭代時間的一半,而雙層CNN模型由于能使用GPU有效并行加速其平均單次迭代時間最短,但準確率與另外兩種算法差距較大.

      網絡模型平均單次迭代時間/s
      雙層CNN190
      雙層LSTM430
      帶有Attention機制的LSTM網絡232

      表 3  3種算法的平均單次迭代時間

      Table 3.  Average single epoch time of three algorithm

      可以看出本文所設計的算法通過引入Attention機制有效解決了傳統了基于LSTM網絡的調制識別技術的訓練效率不佳的問題,同時在識別準確率上也有一定的優勢. 最后通過本文設計算法的混淆矩陣(圖10)分析其對各類調制信號的分類準確率:

      圖  8  帶有注意力機制的LSTM網絡的混淆矩陣

      Figure 8.  Confusion matrix of Attention-based LSTM

      可以看出在信噪比為18 dB時,本文所提出的算法在區分WBFM和AM-DSB這兩種信號時比較困難,這主要是由于在原始數據集中,這兩種調制方式的樣本是由實際音頻流生成,在這個過程中有一段音頻流的中斷期,導致這兩種調制方式的有許多相似的樣本,影響了識別的準確率. 而對于AM-DSB與AM-SSB以及QAM16和QAM64這兩組信號,由于調制方式較為相似,模型很難學習到能有效區分它們的特征導致分類結果存在一些誤判的情況,但本文所設計的算法對這兩組信號的總體識別準確率依然在90%以上.

    • 本文旨在利用常用于圖像識別與自然語言處理中的Attention模型,針對性地解決調制識別中由于輸入數據維度大而造成的計算時間增長和準確率下降的問題,實驗結果表明,本文所設計算法準確率對信噪比范圍為?20 dB至18 dB的信號識別準確率較高,且本文提出的算法的時間代價與傳統的LSTM網絡模型相比較小.

      由于實驗條件限制,本文中用于實驗的信號數據均為軟件仿真產生,未來應采集真實無線電通信環境中的調制信號進行進一步實驗以更好的驗證本文提出的算法的有效性. 本文設計的算法源碼可于https://github.com/desolating/-att-lstm_mod-rec查看.

參考文獻 (23)

目錄

    /

    返回文章
    返回