發布時間：所屬分類：工程師職稱論文瀏覽：1次
摘 要： 摘要：道路質量檢測是智能交通系統的重要組成部分，而井蓋異常下沉是影響道路質量的常見因素之一。智能手機配備了不同的傳感器，在許多研究中被應用于道路檢測。本文提出了一種基于智能手機的道路井蓋檢測與分類方法。使用智能手機可以收集道路井蓋圖像數據，并使用手
摘要：道路質量檢測是智能交通系統的重要組成部分，而井蓋異常下沉是影響道路質量的常見因素之一。智能手機配備了不同的傳感器，在許多研究中被應用于道路檢測。本文提出了一種基于智能手機的道路井蓋檢測與分類方法。使用智能手機可以收集道路井蓋圖像數據，并使用手機內置加速度計記錄車輛軋過井蓋時的加速度數據。對于井蓋的圖像檢測，我們使用了 ResNet 深度學習網絡來訓練檢測模型，檢測精度最高可以達到 80.79%。在車輛經過不同下沉程度的井蓋會產生不同加速度數值的基礎上，提出了一種基于機器學習的道路井蓋下沉程度的分類方法，該方法可以將檢測到的道路井蓋的下沉程度自動地劃分為不同的等級：良好、一般以及較差，最高分類精度可達 86%。結果表明，該方法在不同的道路條件下均能有效檢測并分類道路井蓋。
關鍵詞：智能手機;井蓋檢測;深度學習;機器學習;道路安全
道路的質量檢測對于智能交通系統非常重要，例如自動駕駛系統[1]、駕駛輔助系統等。而良好的道路質量對于保證駕駛舒適性[2]也同樣的至關重要。如何實時、快速、準確地檢測道路質量成為了急需解決的問題。由于自然腐蝕和缺乏及時的維護，城市道路經常會遭到損壞，產生各類病害。這些道路病害降低了道路質量以及行車舒適性，危害了行車安全。
井蓋是城市道路的重要設施之一，完好的井蓋對于道路安全非常重要。井蓋的異常下沉是城市道路的常見病，它降低了道路行駛的舒適性，嚴重時甚至會影響車輛和行人的安全。通過對道路井蓋下沉的檢測，可以快速有效地識別影響道路安全行車的不利因素，為道路養護提供指導和建議。一般情況下，井蓋病害的檢測主要依靠專業設備和檢測車輛，如激光雷達[3-8]、航空影像[9]等。然而，使用這些檢測方法成本昂貴，檢測周期長，無法快速有效地發現井蓋病害。因此，如何快速、有效、廉價地檢測井蓋病害已成為迫切需要解決的問題。
如今，智能手機配置了各類傳感器，如攝像頭、加速度計、GNSS 等。在目前的許多研究中，智能手機被用來檢測路面粗糙度和道路病害[10-13]。基于智能手機的檢測技術由于其自身的優點，逐漸成為一種新興的路面異常檢測輔助技術。大多數道路井蓋檢測僅僅通過井蓋的外觀來評估其狀況[9][14];然而，還沒有使用智能手機來分類井蓋下沉程度并判斷道路井蓋狀況的例子。智能手機一方面可以采集井蓋圖像數據，用于井蓋檢測;另一方面，當車輛經過下沉的井蓋時，會產生相應的加速度信號，這些信號可用于對井蓋下沉程度進行分類。
基于此，本文提出基于智能手機的井蓋檢測方法，使用車載智能手機采集道路井蓋圖像數據以及車輛軋過井蓋時的加速度數據;通過深度學習的方法訓練模型有效地識別道路井蓋;再利用機器學習分類算法對道路井蓋下沉程度進行分類。實驗結果表明，本文方法在不同的道路條件下均能有效檢測道路井蓋并分類井蓋下沉程度。
1 方法概述
1.1 方法總流程概述
圖 1 是方法總流程圖，主要包括兩個方面。首先，智能手機安裝在車輛上，用于獲取圖像數據。對圖像數據集進行預處理和標注后，利用深度學習算法訓練道路井蓋檢測模型，自動識別圖像中的道路井蓋。
第二，當圖像中的井蓋被識別后，對被識別的井蓋的下沉程度做出分類。智能手機在采集圖像數據的同時采集計加速度數據。通過機器學習算法對采集到的加速度數據進行預處理和訓練，建立模型對道路井蓋下沉程度進行自動分類。將道路井蓋的下沉程度分為良好、一般和較差三個等級。
通過以上兩部分，可以對道路井蓋的狀況進行綜合評價。
1.2 道路井蓋圖像檢測
1.2.1 圖像數據采集與處理
在本實驗中，智能手機安裝方法如圖 2 所示，它們被安裝在汽車的儀表板上。
在圖像數據完成后，將進行挑選，去除過渡模糊、失焦等影響模型構建的數據。完成數據集的構建后，將其分為兩類:―有井蓋‖ 的道路圖像數據和―無井蓋‖的道路圖像數據。然后將所有圖像數據按照 7:3 的比例隨機分為訓練集和測試集，投入到模型的建立中，并驗證模型精度。
1.2.2 圖像識別模型選擇
卷積神經網絡[15](Convolutional Neural Networks, CNN)是一種具有卷積計算和深度結構的前饋神經網絡，它作為深度學習的代表算法，長期以來一直是圖像識別領域的核心算法之一，在學習數據足夠時具有穩定的性能。隨著數值計算設備的更新與發展，研究者們開發了許多優秀的、復雜的卷積神經網絡算法，例如 AlexNet、Inception v3 和VGG。
一般來說，提高網絡性能最簡單的方法是增加網絡的寬度或深度，網絡深度越深，網絡性能越好。然而，AlexNet、Inception v3 等神經網絡都存在一個難以解決的問題，即隨著網絡深度的增加，網絡梯度容易擴散或爆炸。2015 年由微軟的人工智能團隊開發的 ResNet[16](殘差神經網絡)很好地解決了這個問題。ResNet 網絡可以在通用深度神經網絡模型的基礎上，對特定領域的少量數據進行量化，對通用模型的全網絡層進行微調，得到適合特定領域的深度神經網絡模型。 ResNet 將網絡設計為 H(x) = F(x) + x，很好地解決了梯度容易擴散或爆炸的問題。
如圖 3 所示，ResNet 網絡將目標轉換為學習一個殘差函數 F(x) = H(x) - x，只要 F(x) = 0，就可以構造恒等映射，使得殘差擬合更加簡單。一般來說，ResNet 網絡使得前饋或反饋傳播算法運行更平穩，結構更簡單，增加網絡的寬度或深度不易產生負面影響。 ResNet 網絡使用殘差塊建立大規模卷積神經網絡，其規模是 AlexNet 的 20 倍、VGG-16 的 8 倍。由于擁有足夠深、規模足夠大的網絡結構，ResNet 更容易優化，并且能夠通過增加相當的深度來提高準確率。在 2015 年ILSVRC 圖像分類和物體識別算法比賽中， ResNet 戰勝眾多優秀的卷積神經網絡算法成為最后的優勝者，取得了最高的識別精度。
因此，在深度學習模型的選擇上，本文將選擇 ResNet50 網絡作為深度學習網絡訓練圖像檢測模型。ResNet50 網絡由 5 個卷積塊組成，如圖 4 所示。它有 49 個卷積層和 1 個全連接(FC)層。其中，一些超參數設置如下：學習率設置為 0.001，batch size 設置為 256。
1.3 道路井蓋下沉程度分類
1.3.1 道路井蓋下沉程度等級
根據《公路技術狀況評定標準》JTG 5210-2018[17]，瀝青道路的沉陷或坑槽應為路面的局部下沉，輕度的損傷應為深度在 10~25mm 的下沉，重度損傷應為深度大于25mm 的下沉。由于道路井蓋相較于瀝青路面更為脆弱，發生損傷或者異常下沉后可能產生的影響也更為惡劣，因此本文結合《公路技術狀況評定標準》與實際實驗經驗，將道路井蓋下沉度分為良好、一般和較差三大類。―良好‖井蓋下沉深度一般小于 5mm，―平均‖井蓋下沉深度約為 5mm ~ 15mm，―較差‖ 井蓋下沉深度約為 15mm 以上。表 1 給出了道路井蓋下沉程度的分類。
分類道路井蓋的下沉程度的基本考慮如下。首先，智能手機的加速計傳感器記錄了車輛軋過道路上的井蓋時的一些相當高的瞬時加速度峰值。第二，當車輛通過道路井蓋時，車輛的前后輪依次軋過道路井蓋。因此，加速度圖上至少會出現兩個峰值。車輛的顛簸反映在加速度的波動上，加速度的波動幅度與車輛所經過的井蓋下沉的深度密切相關。道路井蓋下沉越深，那么車輛通過井蓋時記錄的加速度波動越大，車輛顛簸越大[18-19]。
圖5為車輛通過不同下沉程度的道路井蓋時的加速度變化。可以看出，“良好”井蓋的加速度波動最小，“一般”井蓋的加速度波動大于“良好”井蓋的加速度波動，而 “較差”井蓋的加速度在三者中波動最大。良好 一般 較差圖 5 ResNet50 網絡結構 Fig.5 The acceleration of Different Manhole Covers 每次車輛經過井蓋時，都會出現兩個瞬時峰值。因此，可以證實通過加速度的波動來分類井蓋的下沉程度是可行的。在數據采集完成后，我們對被車輛碾壓過的道路井蓋的下沉深度進行測量，并根據下沉深度進行類別記錄，為后續工作做好數據準備。
1.3.2 道路井蓋下沉等級分類模型選擇
在數據預處理和特征提取之前，我們需要選擇一個合適的機器學習分類模型對道路井蓋下沉程度進行分類。本文重點研究利用機器學習方法對加速度數據進行分類，進而對井蓋下沉程度進行分類。根據 Manuel Ricardo Carlos 等人實驗[20]所得到的結果，我們將使用改進后的支持向量機(Support Vector Machine, SVM)模型。我們將此實驗中的建模方法進行相應的改進，添加更多本實驗所需的特征(如下小節所示)，使之更合適地應用于本文中的實驗。
1.3.3 數據預處理和特征提取
通過安裝在車輛里的智能手機采集車輛軋過井蓋時加速度計傳感器記錄的三軸加速度數據。數據收集完成后，我們需要對數據進行處理，投入模型的訓練。
因為要求每個人將自己的智能手機精確地放置在相同的位置和傾角是非常嚴苛的，所以有必要執行預處理步驟來消除負面影響。我們將三個時間序列 ACCx、ACCy和ACCz合成為一個單獨的時間序列ACCm，表示加速度的大小[12];ACCx、ACCy、ACCz 分別為 X、Y、Z 軸方向上的加速度;ACCm 表示合成的加速度大小。
2 實驗結果與分析
2.1 實驗數據采集
實驗中使用的車輛是一輛沃爾沃轎車，使用的智能手機是三星 S8、華為 P30pro 以及華為 MATE20。在實驗中，將傳感器的采集頻率設置為 100Hz，智能手機攝像頭以每秒 1 次的速率進行圖像數據采集。
2.1.1 圖像數據集
不同的道路可能有著高矮不一的建筑以及不同的植被覆蓋情況。這些建筑以及植被在不同的太陽光照條件下會產生不一樣的陰影，這些陰影會影響智能手機采集的圖像數據的質量。為了使數據多樣化，使實驗更接近實際情況，我們采集了不同道路上的圖像數據，如林蔭道，開放道路和建筑物旁邊的主干道。
同樣的，不同的天氣條件對圖像數據的采集有著不同的影響。例如，晴天時，由于陽光較為充足，路面上的陰影會較為明顯，使的圖像數據中道路井蓋難以被識別;當天氣為陰天時，車內光線不足容易影響圖像數據的清晰度;此外，雨后出現的路面積水會產生例如渾濁、反光、淹沒路面等問題。因此，為了豐富數據庫，保證圖像數據的質量，我們分別在晴天、陰天以及雨后的不同天氣條件下采集圖像數據。
我們駕駛車輛在深圳大學粵海校區進行數據采集，路段主要為瀝青路面。實驗中總共采集了 11,853 張道路圖像，其中 8291 張是有井蓋的道路圖像，3562 張是無井蓋的普通道路圖像。詳情見表 3。
2.1.2 加速度數據集
我們使用智能手機收集了 1000 個車輛軋過井蓋時的加速度變化數據，車輛軋過的井蓋種類包括“良好”、“一般”和“較差” 三類。采集到的加速度變化數據如表4所示。
2.2 圖像識別與下沉程度分類結果
2.2.1 圖像識別結果
將采集到的井蓋圖像數據集與普通道路數據集以 7：3 的比例分為訓練集與測試集后，我們在裝載 Ubuntu 操作系統的主機上進行了模型訓練。該主機具有 Intel(R) Xeon(R) CPU E5-2690 v4 @ 2.60 GHz、 NVIDIA Corporation GP102 和 12GB RAM 內存。
圖像識別精度如圖 9 所示。ResNet50 模型能夠較好的識別出圖像中的道路井蓋，精度約為 80.97%。
2.2.2 道路井蓋下沉程度分類結果
我們在深圳大學粵海校區駕駛汽車共收集了 1000 個加速度數據。在使用機器學習算法建立分類模型之前，我們對數據進行預處理，包括計算合成加速度、特征提取以及標簽標注。所有數據隨機分為訓練集和測試集，比例為 8:2。之后，我們將數據進行預處理，提取需要的特征值，并投入到經過改進后的支持向量機模型中。
表 5 為道路井蓋下沉度分類的結果。從以上結果可以看出，分類結果較為良好，總體精度可以達到 86%。使用支持向量機可以較好的分類出不同下沉程度的道路井蓋。
2.3 分析
2.3.1 圖像識別結果分析
從圖像識別結果可以看出，使用深度學習的方法利用ResNet50網絡建立檢測模型，可以良好的識別出圖像中的井蓋。但同時，還存在一部分被錯誤識別或者無法識別的圖像數據。通過對這些錯誤數據的原始圖像數據進行人工辨別，發現這些圖像數據存在一些影響模型識別的因素。
圖 10 為部分錯誤識別或者無法識別的圖像數據。從中可以看出，識別失敗的主要原因有以下幾點：第一是當晴天時，車輛的擋風玻璃上會出現大量的倒影，影響圖像數據的質量。第二，當陰天時，光線不充足，道路井蓋與道路顏色相近，對比度較低，井蓋的圖像特征較模糊。第三，由于因長時間的使用以及缺少維護，某些道路井蓋表面花紋逐漸消失(滿布銹跡)，容易導致無法識別。第四，道路井蓋可能會被涂上道路標識，加大圖像識別的難度。
2.3.2 井蓋下沉程度分類結果分析
如表 5 所示，使用支持向量機分類出不同下沉程度的道路井蓋，最高精度可以達到 86%。“良好”井蓋和“一般”井蓋都能很好的被正確分類。但同時，相較于其他兩個種類，“較差”類型井蓋的分類 Recall 為 70.0%，F-Measure 為 77.8%，分類的效果一般，其中有 30.0%被錯誤分類為“一般”的類型。主要原因可能如下。首先，在收集的數據集中，“較差”的井蓋數據相對較少，導致訓練樣本較少。二是缺少規范統一的道路井蓋的下沉程度劃分標準，實驗中的下沉程度分類存在一定的主觀因素。
3 結論與展望
本文提出了一種基于智能手機的道路井蓋檢測與分類方法。首先利用智能手機攝像頭采集的道路井蓋圖像數據，采用深度學習的方法，利用 ResNet50 網絡建立圖像識別模型對道路井蓋進行檢測。我們采集了 11853 張不同天氣條件下的道路圖像和 1195 張車輛在道路井蓋蓋上行駛時的加速度圖像，以評估該方法的性能。結果表明，該方法在不同天氣條件下均能有效檢測井蓋，準確率達 80.97%;然后，采集車輛軋過道路井蓋時的加速度值變化，使用機器學習的方法，利用支持向量機對道路井蓋下沉程度進行分類。對不同類型的道路井蓋下沉進行分類，準確率達 86%。結果表明，該方法可以較好的分類道路井蓋下沉程度。——論文作者：趙文劍1,2,3 郭文浩3 周寶定1,2,3,* 張德津 3,4
參考文獻
[1] Arnold E , Al-Jarrah O Y , Dianati M , et al. A Survey on 3D Object Detection Methods for Autonomous Driving Applications[J]. IEEE Transactions on Intelligent Transportation Systems, 2019:1-14
[2] Yuchuan Du,Chenglong Liu,Yishun Li. Velocity Control Strategies to Improve Automated Vehicle Driving Comfort[J]. IEEE Intelligent Transportation Systems Magazine, 2018, 10(1): 8-18
[3] 高文明. 多源遙感數據在道路勘測中的應用[J]. 測繪通報, 2018(3): 117-121
[4] Yu Y , Guan H , Ji Z . Automated Detection of Urban Road Manhole Covers Using Mobile Laser Scanning Data[J]. Intelligent Transportation Systems IEEE Transactions on, 2015, 16(6):3258-3269
[5] 吳學群,寧津生,楊芳. 車載激光掃描數據分類支持下的路面數據提取[J]. 測繪通報, 2018(2): 107-110+135
[6] 王新林,馬斌. 智能道路檢測系統[J]. 測繪地理信息, 2013, 38(2): 74-75+78
[7] Timofte R , Gool L J V . Multi-view manhole detection, recognition, and 3D localisation[C]// IEEE International Conference on Computer Vision Workshops, ICCV 2011 Workshops, Barcelona, Spain, November 6-13, 2011. IEEE, 2011
[8] Yu Y , Li J , Guan H , et al. Automated Detection of Road Manhole and Sewer Well Covers From Mobile LiDAR Point Clouds[J]. IEEE Geoscience & Remote Sensing Letters, 2014, 11(9):1549-1553
[9] Jérôme, Pasquet, Thibault, et al. Detection of Manhole Covers in High-Resolution Aerial Images of Urban Areas by Combining Two Methods[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016
[10] Kaiyue Zang,Jie Shen,Haosheng Huang, et al. Assessing and Mapping of Road Surface Roughness based on GPS and Accelerometer Sensors on Bicycle-Mounted Smartphones[J]. Sensors, 2018, 18(3)