基于圖像匹配的消防通道障礙物檢測(cè)

技術(shù)背景

消防通道是指在各種險(xiǎn)情發(fā)生時(shí)，用于消防人員實(shí)施營(yíng)救和被困人員疏散的通道。消防法規(guī)定任何單位和個(gè)人不得占用、堵塞、封閉消防通道。事實(shí)上，由于消防通道通常缺乏管理，導(dǎo)致各種垃圾，物品以及車輛等障礙物常常出現(xiàn)在消防通道中，堵塞消防通道，當(dāng)險(xiǎn)情發(fā)生時(shí)，將對(duì)人們的生命財(cái)產(chǎn)帶來(lái)巨大危害。因此，對(duì)消防通道的障礙物進(jìn)行檢測(cè)就顯得尤為重要。

傳統(tǒng)的消防通道障礙物檢測(cè)主要依靠人工安全檢查，指定專門工作人員定期到特定消防通道查看消防通道是否堵塞，此種方法雖然簡(jiǎn)單易行，不需要依靠復(fù)雜設(shè)備，但是該方法的缺點(diǎn)一是不能及時(shí)發(fā)現(xiàn)消防通道是否堵塞，受人工檢查的周期影響大；二是較大地依賴工作人員的專業(yè)素質(zhì)和工作態(tài)度，主觀性強(qiáng)。

消防通道障礙物檢測(cè)屬于圖像處理和智能安防領(lǐng)域。
采用固定攝像頭，獲取清空消防通道障礙物時(shí)的背景場(chǎng)景圖像與實(shí)時(shí)監(jiān)測(cè)場(chǎng)景圖像，將背景場(chǎng)景圖像作為匹配的模板圖像，通過(guò)對(duì)模板圖像與實(shí)時(shí)監(jiān)測(cè)場(chǎng)景圖像之間在指定區(qū)域內(nèi)進(jìn)行圖像匹配，判斷指定區(qū)域內(nèi)是否存在障礙物，并予以報(bào)警。如下圖，紅色框內(nèi)不能方有堆積物。有的話就報(bào)警提示

系統(tǒng)按一定時(shí)間間隔采集消防通道內(nèi)指定監(jiān)測(cè)區(qū)域的實(shí)時(shí)場(chǎng)景圖像并進(jìn)行匹配，既能保障系統(tǒng)能夠?qū)崟r(shí)檢測(cè)到障礙物并予以報(bào)警，及時(shí)保障通道的暢通性，同時(shí)也降低了系統(tǒng)開銷；另外基于特征的圖像匹配用于消防通道障礙物檢測(cè)，使得通道堵塞判定更加準(zhǔn)確有效。

整體的流程圖：

為了實(shí)現(xiàn)上述流程，需要執(zhí)行一下幾個(gè)重要步驟：
步驟1，在需要檢測(cè)的通道架設(shè)攝像頭，通過(guò)攝像頭采集通道場(chǎng)景圖像；
步驟2，攝像頭檢測(cè)通道系統(tǒng)部署過(guò)程中，保存背景模板圖像形成背景模板圖像集，并設(shè)置通道的重點(diǎn)檢測(cè)區(qū)域；
步驟3，對(duì)背景模板圖像集以及待匹配圖像進(jìn)行降噪預(yù)處理；
步驟4，計(jì)算每張背景模板圖像集中的背景模板圖像與待匹配圖像的匹配度；
步驟5，計(jì)算待匹配圖像與背景模板圖像集的匹配度，根據(jù)背景模板圖像集的匹配度與閾值的比較結(jié)果，判斷當(dāng)次檢測(cè)待匹配圖像中障礙物是否存在，障礙物存在則報(bào)警。

單張背景模板圖像同待匹配圖像之間的匹配主要包括如下過(guò)程：

首先需要在背景模板圖像和待匹配圖像的指定區(qū)域中進(jìn)行特征點(diǎn)的提取?？紤]到消防通道場(chǎng)景中光線問(wèn)題，采用對(duì)光照變化具有一定抗干擾性的Harris角點(diǎn)作為特征點(diǎn)，該類特征點(diǎn)是有灰度圖像的二階導(dǎo)數(shù)計(jì)算而來(lái)，通常存在于圖像中像素鄰域內(nèi)出現(xiàn)多個(gè)方向上的灰度變化的像素點(diǎn)上，因此能夠很好的表示圖像中的灰度值的變化范圍，而光照變化對(duì)圖像灰度值的影響在鄰域范圍內(nèi)通常很小，因此Harris角點(diǎn)對(duì)光照具有一定的穩(wěn)定性。

圖像中像素點(diǎn)x的鄰域指的是以x為中心，上下左右相鄰的若干的像素組成的像素集。根據(jù)S2中獲得的指定區(qū)域的邊界點(diǎn)序列PSeq，在背景模板圖像和待匹配圖像中生成mask區(qū)域（即邊界點(diǎn)包圍的區(qū)域）。在背景模板圖像和待匹配圖像中的mask區(qū)域中分別提取出角點(diǎn)集BackCornerSet（背景角點(diǎn)集）和TestCornerSet（測(cè)試角點(diǎn)集）。其中BackCornerSet中有Nb個(gè)角點(diǎn)，而TestCornerSet中有Nt個(gè)角點(diǎn)。角點(diǎn)的個(gè)數(shù)根據(jù)圖像內(nèi)容不同會(huì)有較大變化，因此暫用Nb和Nt表示。角點(diǎn)集中包含各個(gè)角點(diǎn)的坐標(biāo)，用于對(duì)各角點(diǎn)在圖像中進(jìn)行定位。

其次需要對(duì)背景模板圖像和待匹配圖像中的各個(gè)角點(diǎn)進(jìn)行特征描述符的提取。所謂特征描述符是指對(duì)各個(gè)特征點(diǎn)所在像素點(diǎn)的特性進(jìn)行描述的屬性。各像素點(diǎn)最基本的屬性是灰度值，但使用灰度值作為特征描述符不僅表示過(guò)于簡(jiǎn)單，而且忽略了該像素點(diǎn)同相鄰像素點(diǎn)的關(guān)系，使得它并不能有效的表示特征的屬性。通常采用特征點(diǎn)所在像素點(diǎn)的鄰域內(nèi)的特性來(lái)作為特征描述符。本發(fā)明采用以特征點(diǎn)所在像素點(diǎn)為中心的15×15大小的鄰域，能夠很好地涵蓋特征點(diǎn)與影響較大的相鄰像素點(diǎn)。對(duì)鄰域內(nèi)的像素點(diǎn)計(jì)算一階梯度構(gòu)成的向量作為特征點(diǎn)的特征描述符，一階梯度能夠減弱光照影響，使得該特征描述符對(duì)于光照也有一定的穩(wěn)定性。部署過(guò)程結(jié)束后，圖像匹配的場(chǎng)景便固定了，因此指定區(qū)域內(nèi)的背景通常不會(huì)出現(xiàn)較為明顯的旋轉(zhuǎn)和尺度變化，因此一階梯度作為特征描述符基本能夠滿足要求。針對(duì)的是根據(jù)角點(diǎn)集BackCornerSet和TestCornerSet中各角點(diǎn)的坐標(biāo)分別在背景模板圖像和待匹配圖像中定位出各個(gè)角點(diǎn)，并根據(jù)各角點(diǎn)的鄰域可計(jì)算得到背景模板圖像和待匹配圖像的特征描述符集BackDescriptorSet（背景特征描述符集）和TestDescriptorSet（測(cè)試特征描述符集）。

然后對(duì)背景模板圖像和待匹配圖像中提取出的特征描述符集進(jìn)行匹配。匹配過(guò)程中，本發(fā)明采用歐式距離來(lái)計(jì)算兩個(gè)特征描述符之間的相似度。對(duì)BackCornerSet和假設(shè)A為BackCornerSet中的任意一角點(diǎn)，B為TestCornerSet中的任意一角點(diǎn)，計(jì)算A到B1、B2、…、BNt各角點(diǎn)對(duì)應(yīng)的特征描述符的相似度，選出相似度最大的角點(diǎn)Bj（j的可能取值為1到Nt之中任意整數(shù)），則A角點(diǎn)至Bj角點(diǎn)單向匹配；計(jì)算B到A1、A2、…、ANb各角點(diǎn)對(duì)應(yīng)的特征描述符的相似度，選出相似度最大的角點(diǎn)Aj（j的可能取值為1到Nb之中任意整數(shù)），則B角點(diǎn)至Aj角點(diǎn)單向匹配。當(dāng)且僅當(dāng)A角點(diǎn)至B角點(diǎn)單向匹配的同時(shí)B角點(diǎn)至A角點(diǎn)也單向匹配的時(shí)候，A角點(diǎn)和B角點(diǎn)匹配，則A角點(diǎn)與B角點(diǎn)為一個(gè)匹配對(duì)。對(duì)BackCornerSet和TestCornerSet中角點(diǎn)進(jìn)行匹配后，得到包含Q個(gè)匹配成功的匹配集MatchPairs。

最后需要對(duì)匹配對(duì)進(jìn)行修正。匹配成功的匹配集MatchPairs中可能存在有同一角點(diǎn)同時(shí)匹配上多個(gè)角點(diǎn)的情況，同時(shí)也可能存在誤匹配的焦點(diǎn)對(duì)，因此我們需要對(duì)MatchPairs進(jìn)行修正。由于攝像頭固定的情況下，獲取的圖像中指定區(qū)域內(nèi)的背景內(nèi)容不會(huì)發(fā)生較大變化，因此可以認(rèn)為背景模板圖像中的檢測(cè)到的角點(diǎn)與在待匹配圖像中的相應(yīng)位置的匹配的角點(diǎn)之間的相對(duì)位移應(yīng)該很小?；谶@個(gè)原理，計(jì)算MatchPairs中各匹配對(duì)的兩個(gè)角點(diǎn)的相對(duì)位移，如果位移偏差大于閾值Δs，則認(rèn)為該匹配對(duì)為誤匹配對(duì)。Δs的閾值可以設(shè)為5個(gè)像素（以適應(yīng)物理環(huán)境的變化如攝像頭抖動(dòng)造成的圖像內(nèi)容偏移）。
對(duì)MatchPairs中的誤匹配對(duì)進(jìn)行刪除操作，完成MatchPairs的修正。修正后的MatchPairs中含有Q*個(gè)匹配對(duì)。

基于深度學(xué)習(xí)的障礙物檢測(cè)研究

YOLO是一種端到端的圖像檢測(cè)框架，其核心過(guò)程就是將整張圖片作為網(wǎng)絡(luò)的輸入，可以在輸出層直接得到物體的檢測(cè)邊界框，并標(biāo)注其檢測(cè)到得所屬類別。YOLO使用了網(wǎng)格而非傳統(tǒng)的滑動(dòng)窗口，首先將一幅圖片分成S * S個(gè)網(wǎng)格，每個(gè)網(wǎng)格需要預(yù)測(cè)一個(gè)中心點(diǎn)落在這個(gè)網(wǎng)格當(dāng)中的物體;每個(gè)網(wǎng)格需要預(yù)測(cè)B個(gè)邊界框（boundingbox），每個(gè)邊界框都要回歸一個(gè)位置信息，包括x，y，w，h，分別代表坐標(biāo)信息和尺寸信息，同時(shí)還要再輸出一個(gè)置信度值（confidencescore）。

效果如下圖所示：

基于深度檢測(cè)比opencv 的效率和準(zhǔn)確度要高，但是深度安全通道檢測(cè)有一個(gè)弊端 就是 必須要提前明確通道里會(huì)放哪些障礙物，這個(gè)就很容易被吐槽了，意味著你的模型到實(shí)際生產(chǎn)過(guò)程中需要不斷對(duì)新的障礙物去訓(xùn)練識(shí)別。當(dāng)然，這個(gè)也要看你自己的業(yè)務(wù)場(chǎng)景了。如果你的障礙物是固定的，那深度檢測(cè)肯定是你的不二選擇了。文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-769014.html

到了這里，關(guān)于opencv案例06-基于opencv圖像匹配的消防通道障礙物檢測(cè)與深度yolo檢測(cè)的對(duì)比的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！