在這個(gè)項(xiàng)目中,將在線和離線 TSM 網(wǎng)絡(luò)部署到 FPGA,通過(guò) 2D CNN 執(zhí)行視頻理解任務(wù)。

介紹
在這個(gè)項(xiàng)目中,展示了 Temporal-Shift-Module ( https://hanlab.mit.edu/projects/tsm/)在 FPGA 上解決視頻理解問(wèn)題的實(shí)用性和性能。
TSM 是一種網(wǎng)絡(luò)結(jié)構(gòu),可以通過(guò) 2D CNN 有效學(xué)習(xí)時(shí)間關(guān)系。在較高級(jí)別上,這是通過(guò)一次對(duì)單個(gè)幀(在線 TSM)或多個(gè)幀(離線 TSM)執(zhí)行推理并在這些張量流經(jīng)網(wǎng)絡(luò)時(shí)在這些張量之間轉(zhuǎn)移激活來(lái)完成的。這是通過(guò)將shift操作插入 2D 主干網(wǎng)的bottleneck層(在本例中為 mobilenetv2 和 resnet50)來(lái)完成的。然后,該shift操作會(huì)打亂時(shí)間相鄰幀之間的部分輸入通道。
詳細(xì)的解析可以看下面的文章:
?https://zhuanlan.zhihu.com/p/64525610
?
將這樣的模型部署到 FPGA 可以帶來(lái)許多好處。首先,由于 TSM 已經(jīng)在功效方面帶來(lái)了巨大優(yōu)勢(shì),部署到 FPGA 可以進(jìn)一步推動(dòng)這一點(diǎn)。文章來(lái)源:http://www.zghlxwxcb.cn/news/detail-682882.html
TSM網(wǎng)絡(luò)結(jié)構(gòu)
我們將首先回顧這些 TSM 網(wǎng)絡(luò)的底層結(jié)構(gòu)以及到 DPU 兼容實(shí)現(xiàn)的轉(zhuǎn)換。TSM 網(wǎng)絡(luò)的核心結(jié)構(gòu)是插入骨干模型bottleneck層中的時(shí)間shift模塊,以實(shí)現(xiàn)時(shí)間建模。例如,插入shift操作后,TSM Mobilene文章來(lái)源地址http://www.zghlxwxcb.cn/news/detail-682882.html
到了這里,關(guān)于在 FPGA 上通過(guò) 2D CNN 進(jìn)行高效視頻理解的 TSM 網(wǎng)絡(luò)的文章就介紹完了。如果您還想了解更多內(nèi)容,請(qǐng)?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章,希望大家以后多多支持TOY模板網(wǎng)!