分享嘉賓：Robert Lorenz（德國籍），澎思科技資深算法研究員，德國柏林洪堡大學數學系博士，致力于人臉檢測、人臉跟蹤和人臉質量判斷等領域的技術研發，尤其擅長模型構建和模型優化。其研究成果已經應用于澎思科技多種人臉識別軟件平臺和硬件產品中。同時也致力于視頻結構化算法的研究和開發，負責數個子研究課題的攻堅工作。

曾任職學習寶聯合創始人兼首席科學家、精通5國語言，完成學習寶所有模式識別算法的搭建及商用。精通模式識別、機器學習與圖像處理的常見算法，例如貝葉斯分類器、SVM、ADA-BOOST、MLP、CNN、kernelized回歸、受限制BOLTZMANN機、特征提取、特征選擇，圖像預處理、二值化算法、連通域分析、PPC（Project Profile Cutting），Viterbi算法，C語言數據結構，例如樹結構、圖形結構等等。

分享主題：有限算力資源下的深度學習與人臉識別技術——人臉抓拍算法設計、移植和優化

分享提綱：

• 深度學習定義與概念

• 人臉檢測與深度學習

• 人臉跟蹤與深度學習

• 人臉屬性與深度學習

• 人臉識別應用

• 深度學習與人臉識別未來

雷鋒網AI研習社將其分享內容整理如下：

大家好，我是來自德國的Robert，目前負責算法研究、算法設計和算法實現，今天想分享的內容是有限算力資源下的深度學習與人臉識別技術——人臉抓拍設計、移植和優化。在標題中大家可以看到兩個關鍵詞，第一深度學習，第二人臉識別。

人臉識別主要分兩大類，第一人臉抓拍，指的是從原始的數據（如錄像數據）中提取人臉，第二大類是對提取好的人臉進行進一步操作，比如人臉比對、人臉性別分類、表情分類等具體應用。今天我們把重點放在人臉抓拍這一步，還會特別注意算法的運行速度。

近年來，所有的人臉識別算法都是基于深度學習完成的，所以今天分享的內容也基于深度學習來展開，具體目錄如下：

大家可能聽過深度學習這個術語，但是深度學習到底是什么？如圖所示，即為深度學習的定義。我們將深度學習之外所有的模式識別算法命名為傳統模式識別算法。下面來了解一下深度學習和傳統模式識別之間有哪些區別，深度學習的特點是什么。

傳統算法主要有兩個步驟。其中第一步為“手動特征提取”，即按照當前分類任務手動定義特征提取方法。下圖顯示對于文字圖像的邊緣特征，總共四個方向的邊緣特征。深度學習之前，基于四個方向的邊緣特征在文字識別領域非常流行，因為文字圖像邊緣特征的判別能力好于原始圖像像素的判別能力。

傳統算法第二步為“訓練參數”，參數訓練是基于在第一步提取好的特征進行的。下圖顯示對于文字特征向量的建模，每類由多維高斯分布建模。多維高斯分布唯一由期望值和相關矩陣描述。為了提高魯棒性，僅僅估計了相關矩陣的前k個特征值和特征向量，后（d-k）個特征值由一個常數描述。有了每一類的參數，可以使用貝葉斯分類器對未知、不在訓練庫的新圖像提取特征，并對提取好的特征進行分類。

傳統方法有一些不太理想的地方：特征提取和參數訓練的兩個步驟是拆開的。更優的方案是聯合優化特征提取和參數訓練。另外，預測任務的變化引起特征提取方法的改動。例如，對腫瘤檢測文理特征判別能力好于邊緣特征。為了達到不錯的預測效果，每個領域需要有經驗的專家琢磨出好的手動特征提取方法。深度學習克服了這些難題。

接下來我們看一下，深度學習放棄手動特征提取而采用自動特征提取，如圖所示：

上圖有10個特征層，每一層的參數是自動學習的，不涉及到手動干預。因深度學習的特征提取是自動、智能的，所以深度學習屬于人工智能的領域。

我們還需要知道的一點是，與傳統算法相比，深度學習有一定的優勢。在包含1000類的IMAGENET數據庫中，基于幾層深度學習的分類錯誤率為25%。將層數提高到19，錯誤率降低到7%，22層的錯誤率為6%，如果是非常深的深度學習模型（152層），錯誤率才3%，而人類的錯誤率也有5%。這說明在特定情況下，深度學習的識別率高于人類的識別率，這就引起了各行業都想將深度學習的思路融入到他們的領域里，人臉識別也不例外。

人臉識別屬于圖像處理的領域。圖像處理領域中最常見的層是卷積層，比較一下卷積層和全連接層。如下圖所示，全連接層每個輸入節點跟任何輸出節點都構造一個連接，而卷積層只有考慮特殊的連接。一個卷積核掃描所有輸入圖的窗口，可以做到參數共享、參數數量降低。可訓練參越多，越容易發生過度適應現象，因卷積層大大降低了參數數量，其過度擬合現象大量減少，卷積操作可以理解為深度學習網絡的正則化。另外全連接不考慮二維圖像拓撲，而卷積層更好地利用相鄰像素之間的關聯性。

來看一下深度學習早期的一個完整的深度學習網絡模型。下圖顯示所謂LENET5的拓撲：卷積層1、欠采樣層2、卷積層3、欠采樣層4、卷積層5、全連接6、分類輸出層7。LENET5對32x32大小的輸入通過卷積和欠采樣和全連接層提取84維的特征向量，對84維的特征向量進行最終的分類，都在一個聯合框架中。

對深度學習的定義和概念的介紹就到這，接下來了解深度學習怎么應用在人臉抓拍的領域。

人臉抓拍第一步是人臉檢測，是一個二類分類問題，只有兩類：人臉和非人臉。人臉檢測中一個難題是人臉大小未知。克服這個難題的一個辦法是圖像金字塔，如下圖左側部分所示。圖像金字塔包含不同縮小率的縮小圖像。對不同縮小圖用固定窗口大小進行掃描，就可以做到多尺度人臉檢測。

人臉檢測另外的難題是類內的豐富性。人臉有白種人、黃種人、黑人等不同種族，圖像光照條件不同、模糊度不同，人臉姿態、角度也不同。非人臉類更復雜，有無窮多個非人臉的可能性。所以，分類人臉和非人臉需要比較深、有一定判別能力的深度學習網絡。用深的網絡掃描整個圖像金字塔的方法不最優，計算量太大。可以利用非人臉可以細分成簡單負樣本（例如平穩的天空）、中等負樣本（例如衣服文理、胳膊、手）和難負樣本（跟人臉非常相似）的事實。先用極少的計算量排除簡單負樣本，然后用中等計算量排除中等負樣本。以此類推，用更大的計算量排除難度更大的負樣本，最中留下的所有沒排除的窗口分類成人臉。在傳統領域該思想叫做ADABOOST分類器組合方法。

下面介紹一個基于ADABOOST思想的三個階段人臉檢測算法，如下圖所示。總共有三個深度學習模型：PNET、RNET和ONET。PNET網絡不深，只有三個卷積層，用12x12的窗口掃描圖像金字塔，快速排除大量的簡單負樣本。留下的候選窗口用大小24x24重新摳，當作RNET的輸入，RNET的計算量中等，有四個卷積層。對RNET可能沒有成功排除的難負樣本調用計算量比較大的ONET，輸入大小為48x48，ONET有5個卷積層，構造最終的人臉/非人臉分類效果。同時ONET計算人臉5個特征點（眼睛，鼻尖，嘴角），用來在人臉比對之前做人臉矯正。

三個階段的高效人臉檢測器運行速度快，分類效果不錯。然而，如果CPU跟GPU聯合使用的話，CPU與GPU之間的傳輸數據時間不可忽略，如下圖所示。

為了減少傳輸數據的時間，我們尋找一個階段的人臉檢測器，即只有一個深度模型的人臉檢測器。下面我們來看一下一個階段的高效人臉檢測器。因為沒有快速預淘汰簡單負樣本的步驟了，我們在前兩個卷積層和欠采樣層大大降低網絡輸入圖的尺寸，縮小率為32倍。兩個卷積層之后還有非常多的深度學習層，但是因圖像尺寸非常小了，其計算量并不大了。一個階段的人臉檢測器沒有圖像金字塔了，但是有一個以上的分類輸出層。輸出層的輸入是不同尺寸的特征圖，一個階段的人臉檢測器基于特征金字塔，是克服人臉大小未知的另外一種方法。兩個尺度之間跨度比較大，容易漏檢特征金字塔中間大小的人臉。為了避免這種現象，設計了Inception模塊。其設計特點為不同分支，分支卷積核大小不一致，最終連和不同分支。不同卷積核大小的分支構造不同大小的感受野，構造不同尺度的特征圖。連續三次使用Inception模塊，構造非常多的卷積核大小的組合，非常好地客服了人臉大小未知的問題。

下圖中顯示的人臉檢測器不關注運行速度，但爭取更高的準確率。代價是幾百倍的計算量，我們這關注的是網絡架構。高準確率人臉檢測器也屬于一個階段的檢測器，基于特征金字塔，總共有六個尺寸層次。與以前的模型相比，特征金字塔不直接當成網絡輸出層的輸入，但是還加上特征增強模塊。特征增強模塊考慮到兩個相鄰的特征圖，對尺寸小的特征圖進行上采樣，構造跟尺寸大的特征圖同樣的尺寸。用乘法融合兩個相鄰的特征圖，再加上基于inception思想的模塊，這才是分類輸出層的輸入。

如下圖所示，準確率高的人臉檢測器對不良因素的魯棒性非常強，可以檢測出尺寸更小的人臉、模糊人臉、光照情況復雜、曝光、很暗的人臉、被局部遮擋的人臉，還有反光、姿態奇特或者化妝的人臉。抓拍系統不會使用計算量龐大的高準確率人類檢測器，而調用上述提到的快速人臉檢測器。當然，對不利情況下的檢測率有一些折扣。假設，遠處的人臉尺寸小、非常模糊，快速人臉檢測器漏檢了。但是十幾幀之后人移動到離攝像頭更近的位置，不顯得那么小和模糊，檢測出的概率大大提高。以人為單位的快速人臉檢測器的檢測率可以超過99%。

人臉檢測速度快，但是每幀都做人臉檢測，滿足不了一個GPU實時處理數十路視頻的數據。另外這種方法也放棄了幀與幀之間的關聯性。假設，在幀1檢測出四個人臉。在幀2出現4個人臉的概率很高，甚至4個人臉的位置跟前一幀的位置非常相似。從前一幀到當前幀人臉具體平移量是多少，這就是人臉跟蹤的命題，請看下圖。人臉跟蹤在目標周圍范圍考慮問題，人臉檢測在整個場景圖范圍考慮問題，與全局的檢測相比，跟蹤屬于局部算法，可以大量節省整個抓拍系統的計算量。

接下來，給大家分享一下一個屬于傳統算法領域的跟蹤算法。其特點是運行速度非常快，數學模型和求解非常瀟灑。下圖的第一個數學公式是空間域中的數學模型，優化對象是相關核h，使得對在幀1的圖像數據f進行濾波的話，得到跟標簽g盡可能接近的值，其中*代表循環卷積。標簽g經常選擇為高斯函數。正則化系數lambda控制過度適應現象。利用傅里葉變換和相應的一些數學定理，可以把空間域建模問題等價地描述在頻率域。大寫字母符號代表小寫字母符號的傅里葉變換。卷積定理把耗時的循環卷積操作改成快速的乘法。頻率域的解析式形式很簡單，只有乘法、加法和除法的操作。在幀2，對空間域的圖像數據z應用傅里葉變換，跟在幀1學到的模板H進行乘法，得到頻率域的響應Y，再用逆傅里葉變換回到空間域，得到空間域的響應y。最終跟蹤效果為響應y最大值的對應的位置。

雖然基于相關濾波的跟蹤算法在CPU上非常快，但是利用不起來GPU并行計算資源，因為快速傅里葉變換由很多零散的計算步驟組成，其GPU并行計算加速效果很差。接下來，給大家分享基于深度學習的跟蹤算法，可以充分利用GPU并行計算資源。下圖顯示SIAMESE網絡的跟蹤器的流程。在幀1以目標位置為中心稍微擴充，構造參考圖，用深度學習映射phi構造尺寸非常小的特征圖（6x6）。在幀2擴充范圍更大，構造搜索圖，用同樣的映射phi計算出尺寸比較大的特征圖（22x22）。SIAMESE網絡的特點是其輸出層，所謂的相關層。6x6的特征圖當作卷積核，掃描22x22的特征圖，構造17x17大小的輸出圖。跟蹤的效果就是輸出圖最大值的對應的位置。因17x17尺寸比較粗糙，經常對輸出圖進行上采樣操作，獲取更大分辨率的跟蹤效果。SIAMESE網絡屬于離線學習的跟蹤器，因為映射phi與原始圖像無關，需要大量的人臉訓練樣本在GPU上學習映射phi的參數。然而，上述介紹的相關濾波跟蹤器是在線學習的跟蹤器，模板H依賴于原始圖像，關鍵在于模板H的訓練過程極快。

從現在開始，內容不會給大家介紹那么詳細，限于概括性的介紹。下一步給大家介紹一下人臉屬性與深度學習，如圖所示：前幾層設計所有任務共享的卷積層和欠采樣層。后來幾個網絡分支對應不同標簽類別，比如局部、全局標簽，有序標簽、類別性標簽等等。需要大量的標注好的人臉屬性訓練樣本，在GPU上訓練共享的參數和分支的參數。

接下來簡單介紹一下人臉識別的應用，如下圖：

下面討論一下深度學習與人臉識別的未來，如下圖：

最后提到的是，對算法研究和算法工程感興趣的朋友，可以關注澎思科技，感謝大家的聆聽。