一、研究的目的及意義
機器視覺是人類視覺的擴展和延伸。隨著研究的不斷深入，新的描述方式、求解手段的不斷探索和創新以及微處理器性能的快速提高，機器視覺的研究必將會迎來一個更加繁榮的時代，機器視覺技術與產品將會被廣泛地應用于更為復雜的場合。
近年來，隨著國民經濟快速增長、社會迅速進步和國力不斷增強，銀行、電力、交通、安檢以及軍事設施等領域對安全防范和現場記錄報警系統的需求與日俱增，要求越來越高，視頻監控在生產生活各方面得到了非常廣泛的應用。雖然監控系統己經廣泛地存在于銀行、商場、車站和交通路口等公共場所，但現有的視頻監控系統通常只是錄制視頻圖像，提供的信息是沒有經過解釋的視頻圖像，只能用作事后取證，沒有充分發揮監控的實時性和主動性。為了能實時分析、跟蹤、判別監控對象，并在異常事件發生時提示、上報，為政府部門及時決策、正確行動提供支持，視頻監控的“智能化”就顯得尤為重要。
由人盯著監視屏幕，人總有疲勞限度的。研究表明，監控操作人員盯著電視墻屏幕超過10分鐘后將漏掉90%的視頻信息。由于人工篩選數據的低效率和低可靠性，視頻監控系統不能局限于被動地提供視頻畫面，要求集成智能算法，能夠自動識別不同的物體，發現監控畫面中的異常情況，實現不再要人去盯、用計算機代替人進行監控，即實現“自動監控”或“智能監控”。智能視頻監控是基于機器視覺對視頻信號進行處理、分析和理解，在不需要人工干預的情況下，通過對序列圖像自動分析對監控場景中的變化進行定位、識別和跟蹤，并在此基礎上分析和判斷目標的行為，能在異常情況發生時及時發出警報或提供有用信息，從而有效地協助安全監管人員處理危機，并最大限度地降低誤報和漏報現象，成為應對突發事件的有力輔助工具。
本項目研究成果的一個典型實際應用。湖南省共有2573個渡口，3468條渡船，渡口數量穩居全國第一。水運交通事故導致的人員傷亡、財產損失、環境污染、以及社會和政治影響不容忽視。最近幾年，湖南省連續發生多起較大以上的水運交通安全事故，給人民生命財產安全造成了極為重大的損失。為解決渡口碼頭運營安全管理中的實際問題，用現代科技去替代“人海戰役”，我們通過與湖南省水運管理局的反復溝通和到渡口碼頭調研，將重點研究從技術上保障自動識別督查客渡船“六不發航”制度中的“超載不發航”、“乘客不穿救生衣或不帶浮具不發航”。超載判斷是通過基于圖像或視頻的乘客檢測與跟蹤技術來實現的。由于現有架設在岸邊的攝像頭受氣候、光照變化、乘客上下船時有互遮擋、雨傘和帽子的干擾、目標距離等因素影響，不少情況下采集到的視頻質量一般，先天不足對乘客檢測和跟蹤是個挑戰。在客渡船船艙頂部加裝攝像頭，獲取船內圖像，這樣采集圖像的質量受外界影響小，有利于提高識別準確率。
二、主要研究內容
基于指導老師在嵌入式系統、圖像處理和模式識別領域的積累，針對各種智能監控系統的實際需求，我們研發的基于樹莓派開源硬件平臺與無線網絡的嵌入式智能視頻監控系統可安裝在汽車、船舶、地鐵等交通工具內部，更加準確的自動識別所監視區域內部的情況。
我們研發的基于樹莓派開源硬件平臺與無線網絡的嵌入式智能視頻監控系統，攝像頭現場采集圖像，樹莓派現場分析理解圖像進行人員檢測和計數，無線網絡將識別結果傳送給監控中心計算機。只有出現違章情況時，如客車超載、客渡船乘員超載和未穿救生衣等，才將監控區域的圖像傳送給監控中心服務器并將違章代碼傳送到相關人員手機上，減少了傳輸數據量。通過嵌入式系統的使用，可以在現場進行乘員檢測與計數、行人檢測與姿態估計等，第一時間發現違章現象，從而進行有效監管，具有較高的實用價值。
（1）熟悉樹莓派的硬件結構及其性能，掌握構建基于樹莓派的應用系統硬件，利用板載的GPIO通用接口、I2C總線接口、SPI總線接口、串口等外部設備接口擴展樹莓派的功能。
（2）基于安裝在監控現場的通用USB攝像頭或樹莓派專用CSI攝像頭，設計開發運行在樹莓派上的圖像和視頻采集程序模塊，并設置攝像頭的幀頻、視頻壓縮格式和圖像參數等。
（3）基于（2）中采集的圖像，研究行人檢測與跟蹤、乘員檢測和計數、人臉檢測與識別、計數等算法。算法運行在樹莓派上，能夠理解圖像的內容，能準確定位到人。采用開源的計算機視覺函數庫（C/C++使用OpenCV），實現這些程序模塊以及開發接口支撐其擴展。
（4）采用TCP/IP協議或Socket編程，將（3）中的圖像內容分析結果傳回的遠程監控中心電腦，中心電腦對其遠程控制。若監控現場出現異常現象，則將現場圖像也傳回，起到取證的作用。
（5）設計實現運行在監控中心電腦或監控人員手機上的程序，接收來自樹莓派的采集圖像并實現屏幕顯示和文件保存，實現遠程智能視頻監控。
三、主要研究成果
搭建基于樹莓派與多種網絡連接方式的硬件系統；開發嵌入式智能視頻監控軟件系統（包括樹莓派前端、基于PC或移動終端的后端）；具有適應各種網絡的穩定傳輸能力，并能實時接收請求，給出響應；綜合其(1) (2) (3)個目標，從而完成基于視頻的人員識別系統，前端檢測識別，后端控制監控的一個便攜式系統；
發表專業論文1篇；申請軟件著作權1項。主要成績如下：
1. 張鵬飛, 金曉康, 湯倩, 張建明. 學習字典下自適應稀疏度估計的分解去噪算法[J]. 福建電腦, 2015, (01): 10-12+31.
2. 陸朝銓, 李旭東, 張鵬飛, 金曉康, 張建明. 基于樹莓派硬件平臺與無線網絡的嵌入式智能視頻監控系統, 軟件著作權正在申請, 已繳納申請費和代理費.
3. 張鵬飛, 金曉康. 基于樹莓派開源硬件平臺與無線網絡的嵌入式視頻監控系統, 2015年"華為杯"湖南省大學生計算機作品賽一等獎, 指導老師: 張建明.
4. 張鵬飛, 金曉康, 李旭東. 基于視頻的便攜式人員身份識別系統, 2015年獲"北大青鳥郴州科泰杯"湖南省第十一屆軟件應用作品大賽三等獎(嵌入式軟件類), 指導教師: 張建明, 熊兵.
5. 金曉康獲碩士研究生推薦免試資格, 已保送長沙理工大學2016級碩士研究生, 導師: 張建明.
四、研究方法和研究成果創新及特色
室內場所人數統計是當今智能視頻系統研究中一個十分活躍的新領域。該技術能夠被應用在不同的公共室內場所，發揮不同的作用。在程序化的工作場合中人數統計可預測人群流量，提高建筑設施或者公共設施的利用率。
人臉的自動檢測是一類具有很大挑戰性的問題，其主要難點在于：
1）人臉是一類高度非剛性的目標，存在相貌，表情，膚色等差異；
2）人臉上可能會存在一些附屬物，諸如，眼鏡，胡須等；
3）人臉的姿態變化萬千，并且可能存在遮擋物；
4）待檢測圖像性質的差異。比如：待檢圖像的分辨率；攝錄器材的質量等；
5）光源的種類和角度。不同種類和角度的光源會對待檢測的人臉產生不同性質的反射和不同區域的陰影。
當前國內外人流自動技術的方法主要有一下幾種：
1）基于形狀的人臉檢測計數
2）基于膚色特征的人臉檢測計數
3）基于模型學習的人臉檢測計數
這些主流的算法都有一定程度上的困難和存在不確定的因素：（1）中鑒于行人行走情況下姿勢的千變萬化，如何將重疊的行人目標分割開來。行人穿著顏色差異不大時又將行人如何區分出來。（2）中當人臉膚色差異不大時，如何將行人分離。（3）中利用統計的方法，采用SVM檢測架構，取得了非常好的檢測效果。綜合上述，本系統采用將人臉訓練，將HOG特征和Adaboost分類器相結合，保持了檢測效率的情況下提高檢測速度。
項目的創新點和特色：
1）本項目研究成果可廣泛應用于各種智能視頻監控系統、可視倒車系統、行車記錄儀、安防設備等電子產品的開發實現。
2）不依靠有線線路提供電力與網絡，使監控系統的靈活性、便攜性、可靠性得到有效保障。
3）系統具有行人計數、救生衣檢測等功能，可以減小監控人員的勞動強度。
4）使用最新推出的樹莓派這種開源硬件標準平臺進行開發，使得產品功能的擴展更加方便。
|
