1 前言

?? 優(yōu)質(zhì)競(jìng)賽項(xiàng)目系列，今天要分享的是

基于深度學(xué)習(xí)的視頻多目標(biāo)跟蹤實(shí)現(xiàn)

該項(xiàng)目較為新穎，適合作為競(jìng)賽課題方向，學(xué)長(zhǎng)非常推薦！

?? 更多資料, 項(xiàng)目分享：

https://gitee.com/dancheng-senior/postgraduate文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-838457.html

2 先上成果

3 多目標(biāo)跟蹤的兩種方法

3.1 方法1

基于初始化幀的跟蹤，在視頻第一幀中選擇你的目標(biāo)，之后交給跟蹤算法去實(shí)現(xiàn)目標(biāo)的跟蹤。這種方式基本上只能跟蹤你第一幀選中的目標(biāo)，如果后續(xù)幀中出現(xiàn)了新的物體目標(biāo)，算法是跟蹤不到的。這種方式的優(yōu)點(diǎn)是速度相對(duì)較快。缺點(diǎn)很明顯，不能跟蹤新出現(xiàn)的目標(biāo)。

3.2 方法2

基于目標(biāo)檢測(cè)的跟蹤，在視頻每幀中先檢測(cè)出來(lái)所有感興趣的目標(biāo)物體，然后將其與前一幀中檢測(cè)出來(lái)的目標(biāo)進(jìn)行關(guān)聯(lián)來(lái)實(shí)現(xiàn)跟蹤的效果。這種方式的優(yōu)點(diǎn)是可以在整個(gè)視頻中跟蹤隨時(shí)出現(xiàn)的新目標(biāo)，當(dāng)然這種方式要求你前提得有一個(gè)好的“目標(biāo)檢測(cè)”算法。

學(xué)長(zhǎng)主要分享Option2的實(shí)現(xiàn)原理，也就是Tracking By Detecting的跟蹤方式。

4 Tracking By Detecting的跟蹤過(guò)程

**Step1：**使用目標(biāo)檢測(cè)算法將每幀中感興趣的目標(biāo)檢測(cè)出來(lái)，得到對(duì)應(yīng)的(位置坐標(biāo), 分類(lèi), 可信度)，假設(shè)檢測(cè)到的目標(biāo)數(shù)量為M；

**Step2：**通過(guò)某種方式將Step1中的檢測(cè)結(jié)果與上一幀中的檢測(cè)目標(biāo)(假設(shè)上一幀檢測(cè)目標(biāo)數(shù)量為N)一一關(guān)聯(lián)起來(lái)。換句話說(shuō)，就是在M*N個(gè)Pair中找出最像似的Pair。

對(duì)于Step2中的“某種方式”，其實(shí)有多種方式可以實(shí)現(xiàn)目標(biāo)的關(guān)聯(lián)，比如常見(jiàn)的計(jì)算兩幀中兩個(gè)目標(biāo)之間的歐幾里得距離(平面兩點(diǎn)之間的直線距離)，距離最短就認(rèn)為是同一個(gè)目標(biāo)，然后通過(guò)匈牙利算法找出最匹配的Pair。當(dāng)讓?zhuān)氵€可以加上其他的判斷條件，比如我用到的IOU，計(jì)算兩個(gè)目標(biāo)Box(位置大小方框)的交并比，該值越接近1就代表是同一個(gè)目標(biāo)。還有其他的比如判斷兩個(gè)目標(biāo)的外觀是否相似，這就需要用到一種外觀模型去做比較了，可能耗時(shí)更長(zhǎng)。

在關(guān)聯(lián)的過(guò)程中，會(huì)出現(xiàn)三種情況：

1）在上一幀中的N個(gè)目標(biāo)中找到了本次檢測(cè)到的目標(biāo)，說(shuō)明正常跟蹤到了；

2）在上一幀中的N個(gè)目標(biāo)中沒(méi)有找到本次檢測(cè)到的目標(biāo)，說(shuō)明這個(gè)目標(biāo)是這一幀中新出現(xiàn)的，所以我們需要把它記錄下來(lái)，用于下下一次的跟蹤關(guān)聯(lián)；

3）在上一幀中存在某個(gè)目標(biāo)，這一幀中并沒(méi)有與之關(guān)聯(lián)的目標(biāo)，那么說(shuō)明該目標(biāo)可能從視野中消失了，我們需要將其移除。(注意這里的可能，因?yàn)橛锌赡苡捎跈z測(cè)誤差，在這一幀中該目標(biāo)并沒(méi)有被檢測(cè)到)

4.1 存在的問(wèn)題

上面提到的跟蹤方法在正常情況下都能夠很好的工作，但是如果視頻中目標(biāo)運(yùn)動(dòng)得很快，前后兩幀中同一個(gè)目標(biāo)運(yùn)動(dòng)的距離很遠(yuǎn)，那么這種跟蹤方式就會(huì)出現(xiàn)問(wèn)題。

如上圖，實(shí)線框表示目標(biāo)在第一幀的位置，虛線框表示目標(biāo)在第二幀的位置。當(dāng)目標(biāo)運(yùn)行速度比較慢的時(shí)候，通過(guò)之前的跟蹤方式可以很準(zhǔn)確的關(guān)聯(lián)(A, A’)和(B,
B’)。但是當(dāng)目標(biāo)運(yùn)行速度很快（或者隔幀檢測(cè)）時(shí)，在第二幀中，A就會(huì)運(yùn)動(dòng)到第一幀中B的位置，而B(niǎo)則運(yùn)動(dòng)到其他位置。這個(gè)時(shí)候使用上面的關(guān)聯(lián)方法就會(huì)得到錯(cuò)誤的結(jié)果。

那么怎樣才能更加準(zhǔn)確地進(jìn)行跟蹤呢？

4.2 基于軌跡預(yù)測(cè)的跟蹤方式

既然通過(guò)第二幀的位置與第一幀的位置進(jìn)行對(duì)比關(guān)聯(lián)會(huì)出現(xiàn)誤差，那么我們可以想辦法在對(duì)比之前，先預(yù)測(cè)目標(biāo)的下一幀會(huì)出現(xiàn)的位置，然后與該預(yù)測(cè)的位置來(lái)進(jìn)行對(duì)比關(guān)聯(lián)。這樣的話，只要預(yù)測(cè)足夠精確，那么幾乎不會(huì)出現(xiàn)前面提到的由于速度太快而存在的誤差

如上圖，我們?cè)趯?duì)比關(guān)聯(lián)之前，先預(yù)測(cè)出A和B在下一幀中的位置，然后再使用實(shí)際的檢測(cè)位置與預(yù)測(cè)的位置進(jìn)行對(duì)比關(guān)聯(lián)，可以完美地解決上面提到的問(wèn)題。理論上，不管目標(biāo)速度多么快，都能關(guān)聯(lián)上。那么問(wèn)題來(lái)了，怎么預(yù)測(cè)目標(biāo)在下一幀的位置？

方法有很多，可以使用卡爾曼濾波來(lái)根據(jù)目標(biāo)前面幾幀的軌跡來(lái)預(yù)測(cè)它下一幀的位置，還可以使用自己擬合出來(lái)的函數(shù)來(lái)預(yù)測(cè)下一幀的位置。實(shí)際過(guò)程中，我是使用擬合函數(shù)來(lái)預(yù)測(cè)目標(biāo)在下一幀中的位置。

如上圖，通過(guò)前面6幀的位置，我可以擬合出來(lái)一條（T->XY）的曲線（注意不是圖中的直線)，然后預(yù)測(cè)目標(biāo)在T+1幀的位置。具體實(shí)現(xiàn)很簡(jiǎn)單，Python中的numpy庫(kù)中有類(lèi)似功能的方法。

5 訓(xùn)練代碼

這里記錄一下訓(xùn)練代碼，來(lái)日更新

?

 if FLAGS.mode == 'eager_tf':
        # Eager mode is great for debugging
        # Non eager graph mode is recommended for real training
        avg_loss = tf.keras.metrics.Mean('loss', dtype=tf.float32)
        avg_val_loss = tf.keras.metrics.Mean('val_loss', dtype=tf.float32)

        for epoch in range(1, FLAGS.epochs + 1):
            for batch, (images, labels) in enumerate(train_dataset):
                with tf.GradientTape() as tape:
                    outputs = model(images, training=True)
                    regularization_loss = tf.reduce_sum(model.losses)
                    pred_loss = []
                    for output, label, loss_fn in zip(outputs, labels, loss):
                        pred_loss.append(loss_fn(label, output))
                    total_loss = tf.reduce_sum(pred_loss) + regularization_loss

                grads = tape.gradient(total_loss, model.trainable_variables)
                optimizer.apply_gradients(
                    zip(grads, model.trainable_variables))

                logging.info("{}_train_{}, {}, {}".format(
                    epoch, batch, total_loss.numpy(),
                    list(map(lambda x: np.sum(x.numpy()), pred_loss))))
                avg_loss.update_state(total_loss)

            for batch, (images, labels) in enumerate(val_dataset):
                outputs = model(images)
                regularization_loss = tf.reduce_sum(model.losses)
                pred_loss = []
                for output, label, loss_fn in zip(outputs, labels, loss):
                    pred_loss.append(loss_fn(label, output))
                total_loss = tf.reduce_sum(pred_loss) + regularization_loss

                logging.info("{}_val_{}, {}, {}".format(
                    epoch, batch, total_loss.numpy(),
                    list(map(lambda x: np.sum(x.numpy()), pred_loss))))
                avg_val_loss.update_state(total_loss)

            logging.info("{}, train: {}, val: {}".format(
                epoch,
                avg_loss.result().numpy(),
                avg_val_loss.result().numpy()))

            avg_loss.reset_states()
            avg_val_loss.reset_states()
            model.save_weights(
                'checkpoints/yolov3_train_{}.tf'.format(epoch))

6 最后

?? 更多資料, 項(xiàng)目分享：

https://gitee.com/dancheng-senior/postgraduate

到了這里，關(guān)于計(jì)算機(jī)設(shè)計(jì)大賽 深度學(xué)習(xí)的視頻多目標(biāo)跟蹤實(shí)現(xiàn)的文章就介紹完了。如果您還想了解更多內(nèi)容，請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！