<acronym id="owqss"><center id="owqss"></center></acronym>
<acronym id="owqss"></acronym>
<acronym id="owqss"><center id="owqss"></center></acronym>

面向判別性低秩回歸模型的優化模型方法研究

王婷 王威廉 于傳波

引用本文:
Citation:

面向判別性低秩回歸模型的優化模型方法研究

    作者簡介: 王 婷(1988?),女,河北人,碩士,主要研究模式識別、圖像處理、深度學習.E-mail:wangting611724@126.com;
    通訊作者: 王威廉, wlwang_47@126.com
  • 中圖分類號: TP391.41

Discriminative low-rank regression model research based on optimized model

    Corresponding author: WANG Wei-lian, wlwang_47@126.com ;
  • CLC number: TP391.41

  • 摘要: 針對傳統的回歸模型方法忽略標簽信息,提出一種優化模型的判別性低秩回歸模型方法. 首先,通過預先設置模型目標矩陣,結合局部優化和全局優化的方式改進損失函數;然后利用增廣拉格朗日方法求解目標函數,在求解函數的基礎上得到新的模型目標矩陣,并通過線性回歸模型計算最終的映射矩陣;最后通過實驗驗證了所提方法的有效性. 實驗結果表明,與其他幾種低秩回歸模型方法相比,提出算法的識別率最高.
  • 圖 1  實驗數據庫樣本示圖

    Figure 1.  Samples of experimental databases

    圖 2  低秩大小對識別率影響曲線圖

    Figure 2.  Graph of the effect of low rank size on recognition rate

    表 1  AR人臉數據庫識別率實驗結果

    Table 1.  Experimental results of recognition rate on AR face database

    算法6train8train10train
    PCA 0.3475 0.3917 0.4269
    NPE 0.8443 0.8655 0.8937
    LPP 0.8829 0.9164 0.9417
    DLA 0.9089 0.9326 0.9551
    CRC 0.9031 0.9348 0.9545
    LRLR 0.8317 0.8331 0.8711
    LRRR 0.9239 0.9501 0.9693
    DENLR 0.9227 0.9478 0.9667
    本文方法 0.9360 0.9572 0.9749
    下載: 導出CSV

    表 2  Oxford 102 Flowers數據庫識別率實驗結果

    Table 2.  Experimental results of recognition rate on Oxford 102 Flowers database

    算法5train10train15train
    PCA 0.6959 0.7703 0.8509
    NPE 0.8033 0.8592 0.8783
    LPP 0.8051 0.8670 0.8885
    DLA 0.8584 0.9157 0.9370
    CRC 0.8531 0.9040 0.9211
    LRLR 0.8066 0.8407 0.8645
    LRRR 0.8601 0.9260 0.9492
    DENLR 0.8608 0.9292 0.9521
    本文方法 0.8811 0.9372 0.9624
    下載: 導出CSV

    表 3  Caltech-256數據庫識別率實驗結果

    Table 3.  Experimental results of recognition rate on Caltech-256 database

    算法10train15train20train
    PCA 0.6795 0.7325 0.7574
    NPE 0.7656 0.7925 08004
    LPP 0.7738 0.8064 0.8190
    DLA 0.8027 0.8316 0.8344
    CRC 0.8177 0.8377 0.8461
    LRLR 0.8324 0.8630 0.8743
    LRRR 0.8324 0.8673 0.8743
    DENLR 0.8278 0.8673 0.8828
    本文方法 0.8427 0.8750 0.8850
    下載: 導出CSV

    表 4  算法運行時間對比(訓練+測試)(單位:s)

    Table 4.  Comparison of running time of each algorithm(training time & testing time) (Unit:s)

    算法6train8train10train
    PCA 53.9 76.7 103.3
    NPE 137.5 149.8 226.8
    LPP 103.9 105.8 167.7
    DLA 622.4 1101.1 2204.1
    CRC 33.1 53.7 90.5
    LRLR 2.1 5.9 10.8
    LRRR 2.2 5.6 11.1
    DENLR 1.7 2.9 3.9
    本文方法 3.6 6.8 11.5
    下載: 導出CSV
    鸿禾娱乐
  • [1] Lin Z, Ganesh A, Wright J, et al. Fast convex optimization algorithms for exact recovery of a corrupted low-rank matrix[J]. Journal of the Marine Biological Association , 2009, 56(3): 707-722.
    [2] Huang S Y, Yeh Y R, Eguchi S. Robust principal component analysis[J]. Journal of the ACM, 2009, 58(3): 1-37.
    [3] Cai X, Ding C, Nie F, et al. On the equivalent of low-rank linear regressions and linear discriminant analysis based regressions[C]// The 19th ACM SIGKDD inter-national conference, Chicago, Illinois, USA, 2013: 1 124-1 132.
    [4] Chen L S, Huang J H . Sparse reduced-rank regression for simultaneous dimension reduction and variable selection[J]. Journal of the American Statistical Association, 2012, 107(500): 1 533-1 545. DOI:  10.1080/01621459.2012.734178.
    [5] Zhang T, Tao D, Li X, et al. Patch alignment for dimensionality reduction[J]. IEEE Transactions on Knowledge & Data Engineering, 2009, 21(9): 1 299-1 313.
    [6] Yang W K, Wang Z Y, Sun C Y. A collaborative representation based projections method for feature extraction[J]. Pattern Recognition, 2015, 48(1): 20-27. DOI:  10.1016/j.patcog.2014.07.009.
    [7] Huang K K, Dai D Q, Ren C X. Regularized coplanar discriminant analysis for dimensionality reduction[J]. Pattern Recognition, 2017, 62: 87-98.
    [8] Torre D L. A least-squares framework for component analysis[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2012, 34(6): 1 041-1 055.
    [9] Xiang S, Nie F, Meng G, et al. Discri-minative least squares regression for multi-class classification and feature selection[J]. IEEE Transactions on Neural Networks and Learning Systems, 2012, 23(11): 1 738. DOI:  10.1109/TNNLS.2012.2212721.
    [10] Li Y F, Ngom, Aioune. Nonnegative least-squares methods for the classification of high-dimensional biological data[J]. IEEE/ACM Transactions on Computational Biology & Bioinformatics, 2013, 10(2): 447-456.
    [11] Zhang Z, Lai Z H, Xu Y. Discriminative elasticnet regularized linear regression[J]. IEEE Transactions on Image Processing, 2017, 26(3): 1 466-1 481. DOI:  10.1109/TIP.2017.2651396.
    [12] Wright J, Yang A Y, Ganesh A, et al. Robust face recognition via sparse represe-ntation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(2): 210-227. DOI:  10.1109/TPAMI.2008.79.
    [13] Zhang L, Yang M, Feng X C. Sparse representation or collaborative representation: Which helps face recognition?[C]//International Conference on Computer Vision, Barcelona, Spain, 2011: 471-478.
    [14] Wright J, Peng Y G, Ma Y. Robust principal component analysis: Exact recovery of corrupted low-rank mallices by convex optimization[C]// 23rd Annual Conference on Neural Information Processing Systems, Vancouver, Canada, 2009: 2 080-2 088.
    [15] Tan H, Cheng B, Feng J, et al. Low-n-rank tensor recovery based on multi-linear augmented Lagrange multiplier method[J]. Neurocomputing, 2013, 119(16): 144-152.
    [16] Phillips P J, Moon H. The FERET evaluation methodology for face-recognition algorithms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(10): 1 090-1 104. DOI:  10.1109/34.879790.
    [17] Nilsback M E, Zisserman A. Delving deeper into the whorl of flower segmentation[J]. Image and Vision Computing, 2010, 28(6): 1 049-1 062. DOI:  10.1016/j.imavis.2009.10.001.
    [18] Griffin G, Holub A, Perona P. Caltech-256 object category dataset[R]. Pasadena (Los Angeles, USA): Caltech Technical Report, 2007.
    [19] Turk M. Pentland A. Eigenfaces for recognition[J]. Journal of Cognitive Neuroscience, 1991, 3(1): 71-86. DOI:  10.1162/jocn.1991.3.1.71.
    [20] He X F, Cai D, Yan S, et al. Neighborhood preserving embedding[C]//IEEE International Conference on Computer Vision, Beijing, China, 2005: 1 208-1 213.
    [21] He X F, Yan S C, Hu Y X. Face recognition using Laplacian faces[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 27(3): 328.
    [22] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[C]// Proceedings of the International Conference on Learning Representations(ICLR), Banff, Canada, 2014.
    [23] 彭葉, 王順芳, 丁海燕. 改進的小波分解、Fisher臉及幾何特征相結合的人臉識別方法[J]. 云南大學學報: 自然科學版, 2011, 33(S2): 215-219. Peng Y, Wang X F, Ding H Y. An improved method of face recognition combined with wavelet, Fisher face and geometrical characteristics[J]. Journal of Yunnan University: Natural Sciences Edition, 2011, 33(S2): 215-219.
    [24] 劉平, 王順芳. 一種局部保留C2DPCA人臉特征提取方法[J]. 云南大學學報: 自然科學版, 2011, 33(S2): 206-209. Liu P,Wang S F. A locality preserving C2DPCA facial feature extraction method[J]. Journal of Yunnan University: Natural Sciences Edition, 2011, 33(S2): 206-209.
  • [1] 余鵬飛劉兵 . 改進的ART1網絡及其在英文字符識別中的應用. 云南大學學報(自然科學版), 2004, 26(5): 397-400.
    [2] 楊雨薇張亞萍 . 一種改進的SIFT圖像檢測與特征匹配算法. 云南大學學報(自然科學版), 2017, 39(3): 376-384. doi: 10.7540/j.ynu.20160731
    [3] 諸薇娜張學杰 . 面孔認知:概念、問題及其研究進展. 云南大學學報(自然科學版), 2013, 35(3): 302-314. doi: 10.7540/j.ynu.20130221
    [4] 阮春生徐若飛和智君徐常亮張鴿陳穗云方力 . 云南省不同煙葉的綜合評價研究. 云南大學學報(自然科學版), 2009, 31(4): 421-427 .
    [5] 阮春生張強陳林丁波洋方力陳穗云 . 不同煙草品種紫外-可見光譜特征的提取研究. 云南大學學報(自然科學版), 2009, 31(6): 616-624 .
    [6] 丁婷婷聶仁燦周冬明 . 改進型稀疏表示的圖像分類方法*. 云南大學學報(自然科學版), 2018, 40(5): 855-864. doi: 10.7540/j.ynu.20170583
    [7] 黃琛李文婷張旭孫悅魏浩然 . 城市供水管網片區用水異常模式識別*. 云南大學學報(自然科學版), 2018, 40(5): 879-885. doi: 10.7540/j.ynu.20180415
    [8] 李建雄馮鑫史偉光粘華 . 基于排隊理論的標簽識別流程優化研究. 云南大學學報(自然科學版), 2016, 38(2): 187-196. doi: 10.7540/j.ynu.20150438
    [9] 張芳娟 . k-Jordan可乘映射. 云南大學學報(自然科學版), 2013, 35(4): 447-452. doi: 10.7540/j.ynu.20120277
    [10] 翟偉斌陳曉舟曹克非 . 四峰映射分維的整體規律. 云南大學學報(自然科學版), 2004, 26(6): 521-524.
    [11] 陳勵王學仁 . 回歸函數斷點的小波識別方法. 云南大學學報(自然科學版), 2002, 24(1): 1-4.
    [12] 汪金花曹蘭杰郭云飛趙禮劍吳兵 . 鐵尾礦高?多光譜遙感特征分析與信息識別. 云南大學學報(自然科學版), 2019, 41(5): 974-981. doi: 10.7540/j.ynu.20180656
    [13] 鄭喜印 . 賦范空間上凸多值映射的誤差界. 云南大學學報(自然科學版), 2003, 25(3): 193-196,201.
    [14] 許傳云周忠 . 雙峰映射的一類特殊符號乘法. 云南大學學報(自然科學版), 2002, 24(3): 192-194,198.
    [15] 張川曹克非 . 雙降型雙峰映射的規范星花積. 云南大學學報(自然科學版), 2002, 24(3): 195-198.
    [16] 李紅平陳祥望徐丹 . 基于雙邊濾波的HDR圖像色調映射算法. 云南大學學報(自然科學版), 2014, 36(3): 341-346. doi: 10.7540/j.ynu.2013051a
    [17] 方剛熊江吳鴻娟鐘靜 . 基于區間映射的約束拓撲關聯規則挖掘. 云南大學學報(自然科學版), 2011, 33(5): 521-526.
    [18] 劉琰煜周冬明聶仁燦侯瑞超丁齋生 . 低秩表示和字典學習的紅外與可見光圖像融合算法. 云南大學學報(自然科學版), 2019, 41(4): 689-698. doi: 10.7540/j.ynu.20180753
    [19] 張芳娟 . 素*-環上非線性保XY+YX*積映射. 云南大學學報(自然科學版), 2014, 36(4): 472-476. doi: 10.7540/j.ynu.20130743
    [20] 樸勇杰金光植 . W-空間上自映射族的唯一公共不動點. 云南大學學報(自然科學版), 2012, 34(1): 1-4.
  • 加載中
圖(2)表(4)
計量
  • 文章訪問數:  480
  • HTML全文瀏覽量:  450
  • PDF下載量:  15
  • 被引次數: 0
出版歷程
  • 收稿日期:  2019-08-30
  • 錄用日期:  2020-02-19
  • 網絡出版日期:  2020-06-08
  • 刊出日期:  2020-09-22

面向判別性低秩回歸模型的優化模型方法研究

    作者簡介:王 婷(1988?),女,河北人,碩士,主要研究模式識別、圖像處理、深度學習.E-mail:wangting611724@126.com
    通訊作者: 王威廉, wlwang_47@126.com
  • 1. 云南大學滇池學院 理工學院, 云南 昆明 650228
  • 2. 云南大學 信息學院, 云南 昆明 650500
  • 3. 天津大學 自動化學院, 天津 300401

摘要: 針對傳統的回歸模型方法忽略標簽信息,提出一種優化模型的判別性低秩回歸模型方法. 首先,通過預先設置模型目標矩陣,結合局部優化和全局優化的方式改進損失函數;然后利用增廣拉格朗日方法求解目標函數,在求解函數的基礎上得到新的模型目標矩陣,并通過線性回歸模型計算最終的映射矩陣;最后通過實驗驗證了所提方法的有效性. 實驗結果表明,與其他幾種低秩回歸模型方法相比,提出算法的識別率最高.

English Abstract

  • 低秩在計算機視覺領域應用廣泛,可以用于分離前后背景[1]、去除圖像噪聲[2]、模式識別[3-4]等. 回歸模型主要根據擬合建立線性關系求解映射矩陣,并在映射的空間里對數據進行分類. 通俗來講,低秩回歸模型和子空間方法有一定的聯系,都是將高維度的數據通過某種映射關系投影到更能反映數據結構的低維空間. 不同的是低秩回歸模型的映射子空間是固定的,而傳統的子空間學習方法如判別性局部對齊(Discriminative Locality Alignment,DLA)[5]、基于協同表示的投影(Collaborative Representation based Projections,CRP)[6]、正則化共面判別分析(Regularized Coplanar Discriminant Analysis,RCDA)[7]等可以投影到多個低維的子空間,選取其中合適的一個子空間.

    最小二乘回歸(Least Square Regression, LSR)[8]方法是較早地用于模式分類的回歸模型之一,模型相對簡單. 隨著相關理論的不斷完善,越來越多的模型相繼被提出,比如判別性最小二乘回歸(Discriminative Least Square Regression, DLSR)[9]、非負最小二乘(Nonnegative Least Squares,NLS)[10].

    由于圖片包含噪聲,低秩方法可以有效恢復圖像,將噪聲、陰影部分從中去除,如魯棒性主成分分析(Robust Principal Component Analysis,RPCA)[2]可以將圖片分為“干凈圖片”和“噪聲圖片”. 基于相似的原理,同類別的樣本數據具有一定的關聯性,不同類別之間區分性較大,通過低秩最小化可以更好地尋找數據的內部結構,對于分類識別具有較好的幫助. 低秩線性回歸(Low-Rank Linear Regression,LRLR)[3]將低秩和回歸模型結合在一起,提取數據矩陣的結構信息,減少無用信息,然而LRLR會產生較嚴重的過擬合現象,導致模型的不穩定性增強. Low-Rank Ridge Regression (LRRR)[3]、判別性彈性網正則化線性回歸(Discriminative Elastic-Net regularized Linear Regression ,DENLR)[11]和邊緣彈性網正則化線性回歸(Marginalized Elastic-net Regularized Linear Regression, MENLR)[11]通過正則化的方式有效緩解了過擬合現象. 但是,上述幾種方法的標簽信息只是在設置目標值時用到,導致標簽信息利用不充分. LRLR和LRRR方法回歸模型的目標值是人為定義的,并不具有實際的參考性,雖然DENLR通過彈性網絡的方式迭代優化目標值,但是泛化能力不足.

    本文提出的優化模型的判別性低秩回歸模型方法充分利用標簽信息,并通過優化模型目標值的方式提高了低秩回歸模型的泛化能力. 首先,預先設置模型目標矩陣;其次,結合局部優化和全局優化的方式改進損失函數,利用增廣拉格朗日方法求解目標函數;最后,得到新的模型目標矩陣,并通過線性回歸模型計算最終的映射矩陣.

    • 定義數據集表示為 ${X}$,假設數據集中有C類樣本,第 $i$ 類樣本數表示為 ${N_i}$,第 $i$ 類第 $j$ 個樣本為 ${{{x}}_{i,j}} \in {R^{d \times 1}}$. 那么該數據集中的樣本數 $ N =$$ {N_1}{\rm{ + }}{N_2} + \cdots + {N_C}$,第 $i$ 類樣本可以表示為:${{{X}}_i} = \left[ {{{{x}}_{i,1}},{{{x}}_{i,2}}, \cdots ,{{{x}}_{i,{N_i}}}} \right] \!\in\! {R^{d \times {N_i}}}$,數據集 ${{X}} \!=\! \left[ {{{{X}}_1},{{{X}}_2}, \cdots ,} \right. \left.{{{{X}}_C}} \right] \!= $$ \left[ {{{{x}}_1},{{{x}}_2}, \cdots ,{{{x}}_N}} \right] \in {R^{d \times N}} $.

    • 線性回歸模型的表達方式與稀疏表示分類器(Sparse Representation based Classification,SRC)[12]和協同表示分類器(Collaborative Representation based Classification method,CRC) [13]有相同之處,區別在于線性回歸回歸到目標矩陣,而SRC和CRC是真實的數據樣本. 線性回歸的數學表示為:

      $\mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2,$

      式中的矩陣 ${{Y}} \in {R^{N \times C}}$ 即目標矩陣,每一行都只有一個1,剩余C?1個維度都是0. 而1所在的k位置表示屬于第k類. 式中的 ${{D}} \in {R^{d \times K}}$ 即需要求解的映射矩陣,式中的 $F$ 為范數.如前面所提到的,回歸模型中的子空間維度是確定的而不像流形學習中的子空間學習方法,因此不需要尋找合適的低維子空間.

    • 與1.1節提到的線性回歸模型相比,低秩回歸模型增加了低秩限制條件. 考慮到同一類的樣本有很多的相似之處,不同類之間區別性較大,低秩約束可以有效地減少數據的無用信息,更好地表示數據的內在結構.

      低秩線性回歸LRLR在線性回歸模型的基礎上添加了低秩限制:

      $\mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ , }}{\rm{s.t}}.{\rm{rank }}\left( {{D}} \right) < s,$

      式中 $s < \min (N,K)$ 表示低秩的值. 但是,LRLR模型容易產生過擬合現象. LRRR在LRLR的基礎之上增加了正則化,有效地緩解了該問題:

      $\mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ + }}\lambda \left\| D \right\|_{\rm{F}}^2{\rm{ , }}{\rm{s.t}}.{\rm{rank }}\left( {{D}} \right) < s,$

      式中的 $\lambda $ 主要有兩個作用:一是使得模型更加穩定,二是平衡前后兩個矩陣值.

      由于式(2)、(3)都有低秩限制條件,屬于非凸、非光滑函數,導致求解不方便. 在特定條件下,低秩限制條件可以由核范數替代[14]. 所以(2)、(3)式可以分別改寫為:

      $\mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ + }}\lambda {\left\| {{D}} \right\|_*},$

      $\mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ + }}{\lambda _1}{\left\| {{D}} \right\|_*} + {\lambda _2}\left\| {{D}} \right\|_{\rm{F}}^2.$

    • 實際數據集中的樣本都有一定的相似性,雖然回歸模型最終要回歸到目標值矩陣,但是如果將同類和不同類別之間的樣本預先處理,對回歸模型會有很大的幫助. 同類樣本返回的回歸值理論上是一樣的,所以如果同類樣本之間更相近,可以使得回歸模型更加可靠.

      以樣本 ${{{x}}_i}$ 為例,計算出訓練集中與 ${{{x}}_i}$ 最近的樣本,并將其分為兩大類:一類是同類的樣本,另一類是不同類的樣本. 選出同類中最近的 ${k_1}$ 個樣本,表示為:${{{x}}_i} = \left[ {{{x}}_i^{{{{s}}_{\rm{1}}}},{{x}}_i^{{{{s}}_{\rm{2}}}}, \cdots ,{{x}}_i^{{{{s}}_{{{{k}}_{\rm{1}}}}}}} \right]$,不同類別中最近的 ${k_2}$ 個樣本 ${{{x}}_i} = \left[ {{{x}}_i^{{{{d}}_{\rm{1}}}},{{x}}_i^{{{{d}}_{\rm{2}}}}, \cdots ,{{x}}_i^{{{{d}}_{{{{k}}_{\rm{2}}}}}}} \right]$. 所以 ${{{x}}_i}$ 的局部塊表示為:$\mathop {{{{x}}_i}}\limits^ \sim = \left[ {{{x}}_i^{{{{s}}_{\rm{1}}}},{{x}}_i^{{{{s}}_{\rm{2}}}}, \cdots ,{{x}}_i^{{{{s}}_{{{{k}}_{\rm{1}}}}}},{{x}}_i^{{{{d}}_{\rm{1}}}},{{x}}_i^{{{{d}}_{\rm{2}}}}, \cdots ,{{x}}_i^{{{{d}}_{{{{k}}_{\rm{2}}}}}}} \right]$,$\mathop {{{{x}}_i}}\limits^ \sim $ 局部塊映射到子空間的表達式可以為:$\mathop {{{{y}}_i}}\limits^ \sim = \left[ {{y}}_i^{{{{s}}_{\rm{1}}}},{{y}}_i^{{{{s}}_{\rm{2}}}}, \cdots ,\right. \left.{{y}}_i^{{{{s}}_{{{{k}}_{\rm{1}}}}}},{{y}}_i^{{{{d}}_{\rm{1}}}},{{y}}_i^{{{{d}}_{\rm{2}}}}, \cdots ,{{y}}_i^{{{{d}}_{{{{k}}_{\rm{2}}}}}} \right]$.

      在低維空間中,理想的情況是同類樣本盡可能地靠近,與此同時,不同類的樣本要盡可能地遠離:

      $\arg \mathop {\min }\limits_{\mathop {{{{y}}_i}}\limits^ \sim } \sum\limits_{m = 1}^{{k_1}} {\left\| {{{{y}}_i} - {{y}}_i^{{s_m}}} \right\|_{}^2} - \beta \sum\limits_{n = 1}^{{k_2}} {\left\| {{{{y}}_i} - {{y}}_i^{{d_n}}} \right\|_{}^2}. $

      式(6)可以變為:

      $\begin{array}{l} \arg \mathop {\min }\limits_{\mathop {{{{y}}_i}}\limits^ \sim } \displaystyle\sum\limits_{m = 1}^{{k_1}} {{\rm{tr}}[({{{y}}_i} - {{y}}_i^{{s_m}})(} {{{y}}_i} - {{y}}_i^{{s_m}}{)^{\rm{T}}}] - \\ \beta \displaystyle\sum\limits_{n = 1}^{{k_2}} {{\rm{tr}}[({{{y}}_i} - {{y}}_i^{{d_n}})} {({{{y}}_i} - {{y}}_i^{{d_n}})^{\rm{T}}}]{\rm{ = }}\arg \mathop {\mathop {\min }\limits_{\mathop {{{{y}}_i}}\limits^ \sim } {\rm{tr}}(\mathop {{{{y}}_i}}\limits^ \sim }\limits_{} {{{L}}_i}\mathop {{{{y}}_i}^{\rm{T}}}\limits^ \sim) , \end{array} $

      式中 ${{{L}}_i} = \left[ {\begin{array}{*{20}{c}} {\displaystyle\sum {{{{\omega }}_i}} }&{ - {{\omega }}_i^{\rm{T}}} \\ { - {{{\omega }}_i}}&{{\rm{diag}}\left( {{{{\omega }}_i}} \right)} \end{array}} \right]$,

      其中 ${{{\omega }}_i}{\rm{ = }} {\left( {\underbrace {1,1, \cdots ,1}_{{k_1}},\underbrace {\beta ,\beta , \cdots ,\beta }_{{k_2}}} \right)^{\rm{T}}}$,

      $\;\beta $ 即權重因子,${\rm{tr}}$$($$)$ 即矩陣的跡.

      對于每一個 $\mathop {{{{y}}_i}}\limits^ \sim $,可以通過一個選擇矩陣表示:$\mathop {{{{y}}_i}}\limits^ \sim {\rm{ = }}{{Y}}{{{S}}_i}$,其中

      ${{Y}}'{\rm{ = }}\left[ {{{{y}}_1},{{{y}}_2}, \cdots ,{{{y}}_N}} \right]$,${({{{S}}_i}{\rm{)}}_{pq}}{\rm{ = }} \left\{\!\!\!\! {\begin{array}{*{20}{l}} 1,p = {{{F}}_i}(q);\\ 0,{\text{其他情況}}. \end{array}} \right. $

      ${({{{S}}_i}{\rm{)}}_{pq}}\in {R^{N \times (1 + {k_1} + {k_2})}} $,

      ${{{F}}_i}{\rm{ = }}[ i,\;{i^{{s_1}}},\; \cdots ,{i^{{s_{{k_1}}}}},\; {i^{{d_1}}},\; \cdots ,$${i^{{d_{{k_2}}}}}]$.

      對于數據集中全部樣本的損失函數可以表示為:

      $\begin{split} & \arg \min \sum\limits_{i = 1}^N {{{Y}}'} {{{S}}_i}{{{L}}_i}{{{S}}_i}^{\rm{T}}{{Y}}{'^{\rm{T}}} = \arg \min {\rm{tr}}({{Y}}'{{LY}}{'^{\rm{T}}}) = \\ &\arg \min {\rm{tr}}({{{D}}^{\rm{T}}}{{XL}}{{{X}}^{\rm{T}}}{{D}}). \end{split} $

    • 目前,大多數低秩回歸模型方法的標簽信息只是在設置目標值的時候用到,導致標簽信息利用不充分.鑒于這種情況,本文將局部優化與低秩模型相結合,極大程度上利用了標簽的信息. 本文所提方法的表示如下:

      $ \mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ + 2}}{\lambda _1}{\left\| {{D}} \right\|_*} + {\lambda _2}{\rm{tr}}({{{D}}^{\rm{T}}}{{XL}}{{{X}}^{\rm{T}}}{{D}}). $

      假設 ${{D}} = {{AB}}{\rm{ ,(}}{{A}} \in {R^{d \times s}},{{B}} \in {R^{s \times K}})$,文獻[11]證明了 ${\left\| {{D}} \right\|_*} = \mathop {\min }\limits_{{{D = AB}}} {\left\| {{A}} \right\|_{\rm{F}}}{\left\| {{B}} \right\|_{\rm{F}}} = \mathop {\min }\limits_{{{D = AB}}} \dfrac{1}{2}(\left\| {{A}} \right\|_{\rm{F}}^2 + \left\| {{B}} \right\|_{\rm{F}}^2)$,所以公式(9)可以變成:

      $ \begin{split} &\mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ + }}{\lambda _1}\left( {\left\| {{A}} \right\|_{\rm{F}}^2 + \left\| {{B}} \right\|_{\rm{F}}^2} \right) + \\ & \;\;\;\;\;\;\;\;\;\;{\lambda _2}{\rm{tr}}({{{D}}^{\rm{T}}}{{XL}}{{{X}}^{\rm{T}}}{{D}}){\rm{ }}{\rm{s}}.{\rm{t}}.{\rm{ }}{{D}} = {{AB}} . \end{split} $

    • 因為目標函數中附有限制條件,所以直接求解不太方便,可以通過增廣拉格朗日方法[15]求解.其中 ${{M}}$ 表示的是拉格朗日乘子:

      $\begin{split} & \mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2{\rm{ + }}{\lambda _1}\left( {\left\| {{A}} \right\|_{\rm{F}}^2 + \left\| {{B}} \right\|_{\rm{F}}^2} \right) + \\ & \;\;\;\;\;\;\;\;\;{\lambda _2}{\rm{tr}}({{{D}}^{\rm{T}}}{{XL}}{{{X}}^{\rm{T}}}{{D}}) + {\rm{tr}}\left[ {{{{M}}^{\rm{T}}}({{D}} - {{AB}})} \right] +\\ &\;\;\;\;\;\;\;\;\;{\lambda _3}\left\| {{{D}} - {{AB}}} \right\|_{\rm{F}}^2 . \end{split} $

      假設 ${{{M}}^K}$ 是當前K輪迭代對偶問題的最優解. 更新A矩陣,保持其他變量不變:

      $\begin{split} f({{A}}) =& \mathop {\min }\limits_{{A}} {\lambda _1}\left\| {{A}} \right\|_{\rm{F}}^2 + {\rm{tr}}\left[ {{{{M}}^{\rm{T}}}({{D}} - {{AB}})} \right]+ \\ & {\lambda _3}\left\| {{{D}} - {{AB}}} \right\|_{\rm{F}}^2 {\rm{= }}\mathop {\min }\limits_{{A}} {\lambda _1}\left\| {{A}} \right\|_{\rm{F}}^2 +\\ & {\lambda _3}\left\| {{{D}} - {{AB}} + \frac{{{M}}}{{2{\lambda _3}}}} \right\|_{\rm{F}}^2 , \end{split} $

      $\frac{{\partial f({{A}})}}{{\partial {{A}}}} = 2{\lambda _1}{{A}} + 2{\lambda _3}\left( {{{D}} - {{AB}} + \frac{{{M}}}{{2{\lambda _3}}}} \right)\left( { - {{{B}}^{\rm{T}}}} \right),$

      ${{{A}}^{K + 1}} \!=\! {\lambda _3}\left( {{{{D}}^K} + \frac{{{{{M}}^K}}}{2}} \right){\left( {{{{B}}^K}} \right)^{\rm{T}}}{\left( {{\lambda _1}{{I}} + {\lambda _3}{{{B}}^K}{{\left( {{{{B}}^K}} \right)}^{\rm{T}}}} \right)^{ - 1}}.$

      同理更新B矩陣,保持其他變量不變:

      $f({{B}}) = \mathop {\min }\limits_{{B}} {\lambda _1}\left\| {{B}} \right\|_{\rm{F}}^2 + {\lambda _3}\left\| {{{D}} - {{AB}} + \frac{{{M}}}{{2{\lambda _3}}}} \right\|_{\rm{F}}^2.$

      可得更新后的B矩陣:

      ${{{B}}^{K + 1}} = {\lambda _3}\left( {{{{D}}^K} + {{\frac{{{M}}}{2}}^K}} \right){\left( {{{{B}}^K}} \right)^{\rm{T}}}{\left( {{\lambda _1}{{I}} + {\lambda _3}{{{B}}^K}{{\left( {{{{B}}^K}} \right)}^{\rm{T}}}} \right)^{ - 1}}.$

      更新D矩陣,保持其他變量不變:

      $\begin{split} f({{D}}) =& \mathop {\min }\limits_{{D}} \left\| {{{Y}} - {{{X}}^{\rm{T}}}{{D}}} \right\|_{\rm{F}}^2 + {\lambda _2}{\rm{tr}}\left( {{{{D}}^{\rm{T}}}{{XL}}{{{X}}^{\rm{T}}}{{D}}} \right)+ \\ &{\lambda _3}\left\| {{{D}} - {{AB}} + \frac{{{M}}}{{2{\lambda _3}}}} \right\|_{\rm{F}}^2 . \end{split} $

      可得更新后的D矩陣:

      $\begin{split} {{{D}}^{K + 1}} =& {\left( {{{X}}{{{X}}^{\rm{T}}} + {\lambda _2}{{XL}}{{{X}}^{\rm{T}}} + {\lambda _3}{{I}}} \right)^{ - 1}}\cdot\\ &\left( {{{XY}} + {\lambda _3}{{{A}}^K}{{{B}}^K} - \frac{{{{{M}}^K}}}{2}} \right).\end{split}$

      更新M矩陣:

      ${{{M}}^{K + 1}} = {{{M}}^K} + {\lambda _3}\left( {{{{D}}^K} - {{{A}}^K}{{{B}}^K}} \right).$

    • LRLR和LRRR算法除了標簽信息利用不充分之外,其回歸的目標值是預先設置的. DENLR算法通過彈性網絡的方式有效地解決了目標值預先設置的問題,但是需要通過迭代優化的方式優化目標值,泛化能力不足. 本文采用簡單的方式較好地解決其中不足. 通過2.3節,可以得到映射矩陣D,本文將 ${{{X}}^{\rm{T}}}{{D}}$ 替代原來的目標回歸矩陣Y. 因為這里求得的目標回歸值對實際數據的回歸具有很好的泛化能力,所以 ${{{X}}^{\rm{T}}}{{D}}$ 作為回歸矩陣更優.

      $\arg \mathop {\min }\limits_{{U}} \left\| {{{{X}}^{\rm{T}}}{{D}} - {{{X}}^{\rm{T}}}{{U}}} \right\|_{\rm{F}}^2 + \lambda \left\| {{U}} \right\|_{\rm{F}}^2.$

      求得最終的映射矩陣 ${{U}} = {\left( {{{X}}{{{X}}^{\rm{T}}} + \lambda {{I}}} \right)^{ - 1}} \left( {{{X}}{{{X}}^{\rm{T}}}{{D}}} \right)$.

      本文算法詳細步驟如下:

      步驟1 輸入訓練樣本 ${{X}} \in {R^{d \times N}}$ 及對應的標簽矩陣 ${{Y}} \in {R^{N \times K}}$,LSR初始化A、B、D;

      步驟2 K從1到n,利用公式(14)更新A矩陣,利用公式(16)更新B矩陣,利用公式(18)更新D矩陣,更新拉格朗日乘子M.

      步驟3 ${{{X}}^{\rm{T}}}{{D}}$ 替代模型目標值,并用公式(20)求解最終的矩陣U;

      步驟4 測試數據通過映射矩陣U投影到低維空間,在低維空間中用最近鄰分類器分類.

    • 為了驗證本文算法的可靠性,應用本文方法與其他8種方法在AR人臉數據庫[16]、Oxford 102 Flowers數據庫[17]、Caltech-256數據庫[18]進行了對比實驗. 8種方法中,有4種是經典的流形學習方法,分別是PCA[19]、NPE[20]、LPP[21]、DLA[5],其中除了PCA是無監督方法外,另外3種采用的是監督學習;對比方法中還有CRC[13],以及低秩回歸模型中的LRLR[3]、LRRR[11]、DENLR[11]算法. 本文實驗結果均隨機選取訓練樣本,取10次運行結果的平均值作為最終的識別率. 實驗中數據均先用PCA做預處理,保存98%的能量;低秩相關算法實驗中低秩的選擇為s=$K$;本文實驗的運行環境為Inter(R) Core(TM) i7-4500U CPU @ 1.80 GHz 2.40 GHz, 8.00 GB 內存,Windows 8操作系統,軟件平臺為Matlab R2014a.

    • AR人臉數據由126個人組成,其中每個人都有26張人臉圖片,每人的人臉照片包括光照變化的14張,圍巾、墨鏡遮擋的12張. 實驗中選擇100人并將圖片的像素調整為32×32. 選取的部分樣本圖片見圖1(a). 該數據庫中的實驗部分隨機選取每人的6、8、10張圖片作訓練集,剩余圖片作測試集. 所提算法參數設置為:$ {\lambda _1}{\rm{ = }}0.01,{\lambda _2}{\rm{ = }}0.001, {\lambda _3}{\rm{ = }}0.01,\lambda {\rm{ = }}0.01,{k_1} = {k_2} = 4,\omega = -2. $ AR人臉數據庫實驗結果見表1.

      圖  1  實驗數據庫樣本示圖

      Figure 1.  Samples of experimental databases

      算法6train8train10train
      PCA 0.3475 0.3917 0.4269
      NPE 0.8443 0.8655 0.8937
      LPP 0.8829 0.9164 0.9417
      DLA 0.9089 0.9326 0.9551
      CRC 0.9031 0.9348 0.9545
      LRLR 0.8317 0.8331 0.8711
      LRRR 0.9239 0.9501 0.9693
      DENLR 0.9227 0.9478 0.9667
      本文方法 0.9360 0.9572 0.9749

      表 1  AR人臉數據庫識別率實驗結果

      Table 1.  Experimental results of recognition rate on AR face database

      算法5train10train15train
      PCA 0.6959 0.7703 0.8509
      NPE 0.8033 0.8592 0.8783
      LPP 0.8051 0.8670 0.8885
      DLA 0.8584 0.9157 0.9370
      CRC 0.8531 0.9040 0.9211
      LRLR 0.8066 0.8407 0.8645
      LRRR 0.8601 0.9260 0.9492
      DENLR 0.8608 0.9292 0.9521
      本文方法 0.8811 0.9372 0.9624

      表 2  Oxford 102 Flowers數據庫識別率實驗結果

      Table 2.  Experimental results of recognition rate on Oxford 102 Flowers database

      表1實驗數據結果可以看出,和其他幾種方法相比,本文方法的識別率最高. 其中PCA、NPE、LPP、DLA方法是經典的子空間學習方法,實驗中選取這幾種方法的最高識別率.為了了解低秩對回歸模型的影響,以6train實驗為例,圖2顯示了隨著s變化,幾種方法的識別率變化情況.

      圖  2  低秩大小對識別率影響曲線圖

      Figure 2.  Graph of the effect of low rank size on recognition rate

      圖2可以看出,低秩s的取值對識別率的改變幾乎沒有影響,從側面反映了本文提出的方法在識別率上優于其他低秩回歸模型方法.

    • Oxford 102 Flowers有102種不同類型的花,每一類花至少有40張圖片,共計8189張圖片. 由于花的類型相近,且每種花具有不同的大小、光照、樣式變化,所以該數據庫在圖像識別領域具有一定的挑戰性. 圖1(b)是Oxford 102 Flowers數據庫部分樣本圖片. 本文選取每種花40張圖片作為子數據集,共計4080張圖片用于實驗. 該數據庫先用VGG-verydeep-19提取了VGG19特征[22],作為數據向量. 實驗分別隨機選取每類花的5、10、15張圖片作為訓練集,剩余的圖片用作測試集,本文方法在改數據庫中的實驗參數設置如下:$ {\lambda _1}{\rm{ = }}0.01,{\lambda _2}{\rm{ = }}0.001,{\lambda _3}{\rm{ = }}0.01, \lambda {\rm{ = }}0.01, {k_1} = {k_2} = 4,\omega {\rm{ = - 1}}{\rm{.}} $ Oxford 102 Flowers數據庫實驗結果如表2所示.

      表2可以看出,低秩回歸模型方法在識別率上相比傳統的子空間學習方法更有優勢,在各種方法中,本文提出的算法獲得的識別率最高..

    • Caltech-256數據庫由256個類別物體,共計30608張圖片組成,其中每個類別至少有80張圖片. 圖1(c)是Caltech-256數據庫的部分樣本圖片. 本文實驗部分選取了100種物體類別,每類物體80張圖片作為本文實驗的數據集,共計8 000張. 實驗分別隨機選取了10、20、30張圖片用作訓練集,相對應的剩余圖片作為測試集. 本文方法在該數據庫中的實驗參數設置如下:${\lambda _1}{\rm{ = }}0.01,\,{\lambda _2}{\rm{ = }}0.001,\,{\lambda _3}{\rm{ = }}0.01,\,\lambda {\rm{ = }}0.01,\,{k_1} = 3,\,{k_2} = 8$,$\omega = - 2$,實驗參數的選擇和前兩次實驗的選擇大致一樣. Caltech-256數據庫實驗結果詳見表3.

      算法10train15train20train
      PCA 0.6795 0.7325 0.7574
      NPE 0.7656 0.7925 08004
      LPP 0.7738 0.8064 0.8190
      DLA 0.8027 0.8316 0.8344
      CRC 0.8177 0.8377 0.8461
      LRLR 0.8324 0.8630 0.8743
      LRRR 0.8324 0.8673 0.8743
      DENLR 0.8278 0.8673 0.8828
      本文方法 0.8427 0.8750 0.8850

      表 3  Caltech-256數據庫識別率實驗結果

      Table 3.  Experimental results of recognition rate on Caltech-256 database

      表3可以看出,相對其他方法,本文方法的識別率最高.以10train為例,本文方法的識別率雖然只比LRRR方法高了0.01,但是除了每類10張圖片訓練外,測試的數據有7000張圖片,也就是說,相比LRRR方法,本文方法能夠正確識別的圖片要多出70多張.

    • 算法的復雜度是客觀反映一個算法的評價要素. 以AR人臉[23]數據庫為例,將各算法的運行時間作對比. 實驗選取10次運行的平均時間作為最終的指標. 與低秩回歸方法不同,PCA[24]、NPE、LPP、DLA方法沒有固定的子空間維度,且不知在哪一維度識別率最佳. 在AR人臉庫中,這4種方法的最佳識別率在200維度內.因此,選取1到200維的運行時間作為指標,運行時間結果見表4.

      算法6train8train10train
      PCA 53.9 76.7 103.3
      NPE 137.5 149.8 226.8
      LPP 103.9 105.8 167.7
      DLA 622.4 1101.1 2204.1
      CRC 33.1 53.7 90.5
      LRLR 2.1 5.9 10.8
      LRRR 2.2 5.6 11.1
      DENLR 1.7 2.9 3.9
      本文方法 3.6 6.8 11.5

      表 4  算法運行時間對比(訓練+測試)(單位:s)

      Table 4.  Comparison of running time of each algorithm(training time & testing time) (Unit:s)

      表4可以看出,本文方法和其他幾種低秩回歸模型相比,運行時間稍慢一些. 但與CRC方法相比,本文方法和其他幾種低秩回歸模型方法快許多. 而比經典的子空間學習方法如PCA、LPP、NPE、DLA在運行時間上要快很多,主要是因為低秩回歸模型方法有確定的子空間維度,而幾種子空間學習方法不能確定在哪一維度最優. 由此看來,低秩回歸模型不用考慮子空間維度的選擇方面是一個突出的優點.

    • 在AR人臉數據庫、Oxford 102 Flowers數據庫及Caltech-256數據庫的9組對比實驗(表1表3)驗證了本文方法的有效性.在這幾組實驗中,與其他方法相比,本文方法的識別率最高. 雖然本文提出的模型參數選擇較多,但是在這3個數據庫中的實驗部分,本文模型參數選擇變動不大,可以反映出所提模型對參數選取不大敏感. 和LRLR、LRRR、DENLR在運行時間上相比雖然不占優勢,但明顯優于其他幾種對比方法.

    • 低秩回歸模型在模式識別領域占有重要的作用,傳統回歸模型方法往往忽略了標簽信息地利用,標簽信息只是在設置目標值的時候用到. 此外,多數的低秩回歸模型如LRLR和LRRR的回歸的目標值都是預先設置的,缺乏對實際情況的考量. DENLR通過彈性網絡的方式,有效地解決了目標值預先設置的問題,但是需要通過迭代優化的方式來優化目標值,且泛化能力不足. 本文提出的優化模型判別性低秩回歸模型方法使標簽信息利用更加充分,并且通過優化模型目標值的方式提高了低秩回歸模型的泛化能力. 從對3大數據庫的實驗結果可以看出,本文提出方法在識別率上更有優勢,算法運行效率也優于CRC和一些經典的子空間學習方法.下一步的研究將用深度學習做一個端到端的識別網絡,同時也將設法使算法效率進一步地提升.

參考文獻 (24)

目錄

    /

    返回文章
    返回