0 前言
?? 優(yōu)質競賽項目系列，今天要分享的是
基于深度學習的行人重識別
該項目較為新穎，適合作為競賽課題方向，學長非常推薦！
?? 更多資料, 項目分享：
https://gitee.com/dancheng-senior/postgraduate文章來源地址http://www.zghlxwxcb.cn/news/detail-798584.html
1 技術背景
行人重識別技術，是智能視頻監(jiān)控系統(tǒng)的關鍵技術之一，其研宄是針對特定目標行人的視頻檢索識別問題。行人再識別是一種自動的目標判定識別技術，它綜合地運用了計算機視覺技術、機器學習、視頻處理、圖像分析、模式識別等多種相關技術于監(jiān)控系統(tǒng)中，其主要描述的是在多個無重疊視域的攝像頭監(jiān)控環(huán)境之下，通過相關算法判斷在某個鏡頭下出現(xiàn)過的感興趣的目標人物是否在其他攝像頭下再次出現(xiàn)。
2 技術介紹
在視頻監(jiān)控系統(tǒng)中，行人再識別任務的整體框架如下圖所示：
—個監(jiān)控系統(tǒng)由多個視域不相交的監(jiān)控攝像頭組成，攝像機的位置可以隨時更改，同時也可以隨時增加或減少攝像機。不兩監(jiān)控攝像頭所攝取的畫面、視角等各不相同。在這樣的監(jiān)控系統(tǒng)中，對行人的動向監(jiān)測是，至關重要的。
對行人的監(jiān)控主要基于以下三個基本的模塊：
-
行人檢測：
行人檢測的目標是在圖片中定位到行人的具體位置。這一步驟僅涉及到對于靜止的單張圖片的處理，而沒有動態(tài)的處理，沒有時間序列上的相關分析。 -
行人軌跡跟蹤：
行人軌跡跟蹤的主要任務是在一段時間內提供目標任務的位置移動信息。與行人檢測不同，軌跡跟蹤與時間序列緊密相關。行人軌跡跟蹤是在行人檢測的基礎上進行的。 -
行人再識別：
行人再識別任務的目標是在沒有相重合視域的攝像頭或攝像機網絡內的不同背景下的許多行人中中識別某個特定行人。行人再識別的分析基于行人檢測和軌跡跟蹤的結果。其主要步驟首先是檢測和跟蹤視頻序列中的行人，從而提取行人的特征，建立構建模型所需的行人特征集數(shù)據(jù)庫。
在此基礎上，用訓練出的模型進行學習從而判斷得出某個攝像頭下的行人與另一攝像頭下的目標人物為同一個人。在智能視頻監(jiān)控系統(tǒng)中的行人再識別任務具有非常廣闊的應用前景。行人再識別的應用與行人檢測、目標跟蹤、行人行為分析、敏感事件檢測等等都有著緊密的聯(lián)系，這些分析處理技術對于公安部門的刑偵工作和城市安防建設工作有著重要的意義。
3 重識別技術實現(xiàn)
3.1 數(shù)據(jù)集
目前行人再識別的研究需要大量的行人數(shù)據(jù)集。行人再識別的數(shù)據(jù)集主要是通過在不同區(qū)域假設無重疊視域的多個攝像頭來采集拍攝有行人圖像的視頻，然后對視頻提取幀，對于視頻幀圖像采用人工標注或算法識別的方式進行人體檢測及標注來完成的。行人再識別數(shù)據(jù)集中包含了跨背景、跨時間、不同拍攝角度下、各種不同姿勢的行人圖片，如下圖所示。
3.2 Person REID
3.2.1 算法原理
給定Ｎ個不同的行人從不同的拍攝視角的無重疊視域攝像機捕獲的圖像集合，行人再識別的任務是學習一個模型，該模型可以盡可能減小行人姿勢和背景、光照等因素帶來的影響，從而更好地對行人進行整體上的描述，更準確地對不同行人圖像之間的相似度進行衡量。
我這里使用注意力相關的特征的卷積神經網絡。該基礎卷積神經網絡架構可以由任何卷積神經網絡模型代替，例如，ＶＧＧ－１９，ＲｅｓＮｅｔ－１０１。
該算法的核心模塊在于注意力學習模型。
3.2.2 算法流程圖
4 實現(xiàn)效果
在多行人場景下，對特定行人進行尋找
5 部分代碼
?
import argparse
import time
from sys import platform
from models import *
from utils.datasets import *
from utils.utils import *
from reid.data import make_data_loader
from reid.data.transforms import build_transforms
from reid.modeling import build_model
from reid.config import cfg as reidCfg
def detect(cfg,
data,
weights,
images='data/samples', # input folder
output='output', # output folder
fourcc='mp4v', # video codec
img_size=416,
conf_thres=0.5,
nms_thres=0.5,
dist_thres=1.0,
save_txt=False,
save_images=True):
# Initialize
device = torch_utils.select_device(force_cpu=False)
torch.backends.cudnn.benchmark = False # set False for reproducible results
if os.path.exists(output):
shutil.rmtree(output) # delete output folder
os.makedirs(output) # make new output folder
############# 行人重識別模型初始化 #############
query_loader, num_query = make_data_loader(reidCfg)
reidModel = build_model(reidCfg, num_classes=10126)
reidModel.load_param(reidCfg.TEST.WEIGHT)
reidModel.to(device).eval()
query_feats = []
query_pids = []
for i, batch in enumerate(query_loader):
with torch.no_grad():
img, pid, camid = batch
img = img.to(device)
feat = reidModel(img) # 一共2張待查詢圖片，每張圖片特征向量2048 torch.Size([2, 2048])
query_feats.append(feat)
query_pids.extend(np.asarray(pid)) # extend() 函數(shù)用于在列表末尾一次性追加另一個序列中的多個值（用新列表擴展原來的列表）。
query_feats = torch.cat(query_feats, dim=0) # torch.Size([2, 2048])
print("The query feature is normalized")
query_feats = torch.nn.functional.normalize(query_feats, dim=1, p=2) # 計算出查詢圖片的特征向量
############# 行人檢測模型初始化 #############
model = Darknet(cfg, img_size)
# Load weights
if weights.endswith('.pt'): # pytorch format
model.load_state_dict(torch.load(weights, map_location=device)['model'])
else: # darknet format
_ = load_darknet_weights(model, weights)
# Eval mode
model.to(device).eval()
# Half precision
opt.half = opt.half and device.type != 'cpu' # half precision only supported on CUDA
if opt.half:
model.half()
# Set Dataloader
vid_path, vid_writer = None, None
if opt.webcam:
save_images = False
dataloader = LoadWebcam(img_size=img_size, half=opt.half)
else:
dataloader = LoadImages(images, img_size=img_size, half=opt.half)
# Get classes and colors
# parse_data_cfg(data)['names']:得到類別名稱文件路徑 names=data/coco.names
classes = load_classes(parse_data_cfg(data)['names']) # 得到類別名列表: ['person', 'bicycle'...]
colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(classes))] # 對于每種類別隨機使用一種顏色畫框
# Run inference
t0 = time.time()
for i, (path, img, im0, vid_cap) in enumerate(dataloader):
t = time.time()
# if i < 500 or i % 5 == 0:
# continue
save_path = str(Path(output) / Path(path).name) # 保存的路徑
# Get detections shape: (3, 416, 320)
img = torch.from_numpy(img).unsqueeze(0).to(device) # torch.Size([1, 3, 416, 320])
pred, _ = model(img) # 經過處理的網絡預測，和原始的
det = non_max_suppression(pred.float(), conf_thres, nms_thres)[0] # torch.Size([5, 7])
if det is not None and len(det) > 0:
# Rescale boxes from 416 to true image size 映射到原圖
det[:, :4] = scale_coords(img.shape[2:], det[:, :4], im0.shape).round()
# Print results to screen image 1/3 data\samples\000493.jpg: 288x416 5 persons, Done. (0.869s)
print('%gx%g ' % img.shape[2:], end='') # print image size '288x416'
for c in det[:, -1].unique(): # 對圖片的所有類進行遍歷循環(huán)
n = (det[:, -1] == c).sum() # 得到了當前類別的個數(shù)，也可以用來統(tǒng)計數(shù)目
if classes[int(c)] == 'person':
print('%g %ss' % (n, classes[int(c)]), end=', ') # 打印個數(shù)和類別'5 persons'
# Draw bounding boxes and labels of detections
# (x1y1x2y2, obj_conf, class_conf, class_pred)
count = 0
gallery_img = []
gallery_loc = []
for *xyxy, conf, cls_conf, cls in det: # 對于最后的預測框進行遍歷
# *xyxy: 對于原圖來說的左上角右下角坐標: [tensor(349.), tensor(26.), tensor(468.), tensor(341.)]
if save_txt: # Write to file
with open(save_path + '.txt', 'a') as file:
file.write(('%g ' * 6 + '\n') % (*xyxy, cls, conf))
# Add bbox to the image
label = '%s %.2f' % (classes[int(cls)], conf) # 'person 1.00'
if classes[int(cls)] == 'person':
#plot_one_bo x(xyxy, im0, label=label, color=colors[int(cls)])
xmin = int(xyxy[0])
ymin = int(xyxy[1])
xmax = int(xyxy[2])
ymax = int(xyxy[3])
w = xmax - xmin # 233
h = ymax - ymin # 602
# 如果檢測到的行人太小了，感覺意義也不大
# 這里需要根據(jù)實際情況稍微設置下
if w*h > 500:
gallery_loc.append((xmin, ymin, xmax, ymax))
crop_img = im0[ymin:ymax, xmin:xmax] # HWC (602, 233, 3)
crop_img = Image.fromarray(cv2.cvtColor(crop_img, cv2.COLOR_BGR2RGB)) # PIL: (233, 602)
crop_img = build_transforms(reidCfg)(crop_img).unsqueeze(0) # torch.Size([1, 3, 256, 128])
gallery_img.append(crop_img)
if gallery_img:
gallery_img = torch.cat(gallery_img, dim=0) # torch.Size([7, 3, 256, 128])
gallery_img = gallery_img.to(device)
gallery_feats = reidModel(gallery_img) # torch.Size([7, 2048])
print("The gallery feature is normalized")
gallery_feats = torch.nn.functional.normalize(gallery_feats, dim=1, p=2) # 計算出查詢圖片的特征向量
# m: 2
# n: 7
m, n = query_feats.shape[0], gallery_feats.shape[0]
distmat = torch.pow(query_feats, 2).sum(dim=1, keepdim=True).expand(m, n) + \
torch.pow(gallery_feats, 2).sum(dim=1, keepdim=True).expand(n, m).t()
# out=(beta?M)+(alpha?mat1@mat2)
# qf^2 + gf^2 - 2 * qf@gf.t()
# distmat - 2 * qf@gf.t()
# distmat: qf^2 + gf^2
# qf: torch.Size([2, 2048])
# gf: torch.Size([7, 2048])
distmat.addmm_(1, -2, query_feats, gallery_feats.t())
# distmat = (qf - gf)^2
# distmat = np.array([[1.79536, 2.00926, 0.52790, 1.98851, 2.15138, 1.75929, 1.99410],
# [1.78843, 1.96036, 0.53674, 1.98929, 1.99490, 1.84878, 1.98575]])
distmat = distmat.cpu().numpy() # : (3, 12)
distmat = distmat.sum(axis=0) / len(query_feats) # 平均一下query中同一行人的多個結果
index = distmat.argmin()
if distmat[index] < dist_thres:
print('距離：%s'%distmat[index])
plot_one_box(gallery_loc[index], im0, label='find!', color=colors[int(cls)])
# cv2.imshow('person search', im0)
# cv2.waitKey()
print('Done. (%.3fs)' % (time.time() - t))
if opt.webcam: # Show live webcam
cv2.imshow(weights, im0)
if save_images: # Save image with detections
if dataloader.mode == 'images':
cv2.imwrite(save_path, im0)
else:
if vid_path != save_path: # new video
vid_path = save_path
if isinstance(vid_writer, cv2.VideoWriter):
vid_writer.release() # release previous video writer
fps = vid_cap.get(cv2.CAP_PROP_FPS)
width = int(vid_cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(vid_cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
vid_writer = cv2.VideoWriter(save_path, cv2.VideoWriter_fourcc(*fourcc), fps, (width, height))
vid_writer.write(im0)
if save_images:
print('Results saved to %s' % os.getcwd() + os.sep + output)
if platform == 'darwin': # macos
os.system('open ' + output + ' ' + save_path)
print('Done. (%.3fs)' % (time.time() - t0))
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--cfg', type=str, default='cfg/yolov3.cfg', help="模型配置文件路徑")
parser.add_argument('--data', type=str, default='data/coco.data', help="數(shù)據(jù)集配置文件所在路徑")
parser.add_argument('--weights', type=str, default='weights/yolov3.weights', help='模型權重文件路徑')
parser.add_argument('--images', type=str, default='data/samples', help='需要進行檢測的圖片文件夾')
parser.add_argument('-q', '--query', default=r'query', help='查詢圖片的讀取路徑.')
parser.add_argument('--img-size', type=int, default=416, help='輸入分辨率大小')
parser.add_argument('--conf-thres', type=float, default=0.1, help='物體置信度閾值')
parser.add_argument('--nms-thres', type=float, default=0.4, help='NMS閾值')
parser.add_argument('--dist_thres', type=float, default=1.0, help='行人圖片距離閾值，小于這個距離，就認為是該行人')
parser.add_argument('--fourcc', type=str, default='mp4v', help='fourcc output video codec (verify ffmpeg support)')
parser.add_argument('--output', type=str, default='output', help='檢測后的圖片或視頻保存的路徑')
parser.add_argument('--half', default=False, help='是否采用半精度FP16進行推理')
parser.add_argument('--webcam', default=False, help='是否使用攝像頭進行檢測')
opt = parser.parse_args()
print(opt)
with torch.no_grad():
detect(opt.cfg,
opt.data,
opt.weights,
images=opt.images,
img_size=opt.img_size,
conf_thres=opt.conf_thres,
nms_thres=opt.nms_thres,
dist_thres=opt.dist_thres,
fourcc=opt.fourcc,
output=opt.output)
6 最后
?? 更多資料, 項目分享：文章來源：http://www.zghlxwxcb.cn/news/detail-798584.html
https://gitee.com/dancheng-senior/postgraduate
到了這里，關于競賽保研 基于深度學習的行人重識別(person reid)的文章就介紹完了。如果您還想了解更多內容，請在右上角搜索TOY模板網以前的文章或繼續(xù)瀏覽下面的相關文章，希望大家以后多多支持TOY模板網！
