前言
本案例將使用OpenCV C++ 進(jìn)行PCB印刷缺陷檢測。目前缺陷檢測算法可分為兩大類：
一：基于模板匹配的缺陷檢測
二：基于深度學(xué)習(xí)的缺陷檢測，主要利用目標(biāo)檢測去識別缺陷部分。
本文算法主要是基于模板匹配算法進(jìn)行缺陷檢測，參考《基于差異模型的印刷標(biāo)簽缺陷檢測算法》一文，進(jìn)行算法復(fù)現(xiàn)，感興趣的朋友可以去閱讀一下原文。
一、結(jié)果演示
二、缺陷檢測算法
2.1、多元模板圖像
通過工業(yè)相機(jī)采集合格標(biāo)簽圖像，作為差異模型的訓(xùn)練數(shù) 據(jù)集，選擇其中一張合格標(biāo)簽圖像分別進(jìn)行高斯平滑、灰度腐蝕 和灰度膨脹操作，獲取多元模板圖像，用于訓(xùn)練差異模型。
將合格圖像f（x，y）與高斯核濾波器卷積，得到高斯平滑圖像f1（x，y）。 構(gòu)建一個(gè)11×11大小的矩形結(jié)構(gòu)元素，對合格標(biāo)簽圖像進(jìn) 行灰度腐蝕運(yùn)算，得到灰度腐蝕圖像f2（x，y）。再構(gòu)建一個(gè)13×13 大小的矩形結(jié)構(gòu)元素，對合格標(biāo)簽圖像進(jìn)行灰度膨脹運(yùn)算［3］，得到灰度膨脹圖像f3（x，y）。
2.2、訓(xùn)練差異模型
將多元模板圖像f1（x，y）、f 2（x，y）與f 3（x，y）作為訓(xùn)練數(shù)據(jù)集 對差異模型進(jìn)行訓(xùn)練。對所有圖像同一坐標(biāo)的像素點(diǎn)計(jì)算平均 值與標(biāo)準(zhǔn)差［4］，得到均值圖像F（x，y）：
標(biāo)準(zhǔn)差圖像V（x，y）：
本文中，F(xiàn)（x，y）、V（x，y）即為差異模型訓(xùn)練過程中的標(biāo)準(zhǔn)圖 像與差異圖像。
為了使理想的差異模型適應(yīng)正常的工藝誤差范圍，加入相對閾值VarThreshold=［b u，b l］參數(shù)。 其中，b u為上限相對閾 值，bl為下限相對閾值。如圖2所示。則兩幅閾值圖像T u，l（x，y） 計(jì)算如下：
亮閾值圖像：Tu（x，y）=F（x，y）+ bu* V（x，y）
暗閾值圖像：Tl（x，y）=F（x，y）- bl* V（x，y)
將配準(zhǔn)對其后的待測圖像c（x，y）與差異模型的閾值圖像 Tu， l（x，y）進(jìn)行像素點(diǎn)之間的灰度值對比，當(dāng)滿足如下條件時(shí)，即為檢測到的缺陷區(qū)域。
c（x，y）>Tu（x，y）∨c（x，y）<T l （x，y）
三、圖像配準(zhǔn)
如圖為模板圖像
如圖為待檢測圖像，我們需要將待檢測圖像與模板圖像進(jìn)行圖像配準(zhǔn)。在這里我使用的是基于圖像仿射變換進(jìn)行兩幅圖像的矯正。關(guān)于圖像矯正這塊就不細(xì)說了，可以參考一下我的這篇博文OpenCV C++案例實(shí)戰(zhàn)四《圖像透視矯正》。這里直接上代碼
3.1 功能源碼
//圖像定位矯正
bool ImageLocal(cv::Mat srcImg, cv::Mat& warpImg, Point2f SrcAffinePts[])
{
Mat grayImg;
if (srcImg.channels() != 1)
{
cvtColor(srcImg, grayImg, COLOR_BGR2GRAY);
}
else
{
grayImg = srcImg.clone();
}
Mat blurImg;
medianBlur(grayImg, blurImg, 5);
Mat binImg;
threshold(blurImg, binImg, 10, 255, THRESH_BINARY);
//namedWindow("binImg", WINDOW_NORMAL);
//imshow("binImg", binImg);
vector<vector<Point>>contours;
findContours(binImg, contours, RETR_EXTERNAL, CHAIN_APPROX_SIMPLE);
RotatedRect bRect;
for (int cnt = 0; cnt < contours.size(); cnt++)
{
double area = contourArea(contours[cnt]);
if (area > 1000)
{
bRect = minAreaRect(contours[cnt]);
}
}
if (bRect.size.empty())return false;//如果沒有找到最小外接矩形，返回false
//找到最小外接矩形四個(gè)頂點(diǎn)
Point2f srcPoints[4];
bRect.points(srcPoints);
//for (int i = 0; i < 4; i++)
//{
// line(srcImg, srcPoints[i], srcPoints[(i + 1) % 4], Scalar(0, 255, 0), 3);
//}
//將四個(gè)點(diǎn)按照左上、右上、右下、左下進(jìn)行區(qū)分
int TL, TR, BR, BL;
double addmax = 0.0, addmin = 999.9, submax = 0.0, submin = 999.9;
for (int i = 0; i < 4; i++)
{
double addval = srcPoints[i].x + srcPoints[i].y;
double subval = srcPoints[i].x - srcPoints[i].y;
if (addval > addmax)
{
addmax = addval;
BR = i;
}
if (addval < addmin)
{
addmin = addval;
TL = i;
}
if (subval > submax)
{
submax = subval;
TR = i;
}
if (subval < submin)
{
submin = subval;
BL = i;
}
}
double LeftHeight = EuDis(srcPoints[TL], srcPoints[BL]);
double RightHeight = EuDis(srcPoints[TR], srcPoints[BR]);
double MaxHeight = max(LeftHeight, RightHeight);
double UpWidth = EuDis(srcPoints[TL], srcPoints[TR]);
double DownWidth = EuDis(srcPoints[BL], srcPoints[BR]);
double MaxWidth = max(UpWidth, DownWidth);
//這里使用的順序是左上、右上、右下、左下順時(shí)針順序。SrcAffinePts、DstAffinePts要一一對應(yīng)
SrcAffinePts[0] = Point2f(srcPoints[TL]);
SrcAffinePts[1] = Point2f(srcPoints[TR]);
SrcAffinePts[2] = Point2f(srcPoints[BR]);
SrcAffinePts[3] = Point2f(srcPoints[BL]);
Point2f DstAffinePts[4] = { Point2f(0,0),Point2f(MaxWidth,0),Point2f(MaxWidth,MaxHeight),Point2f(0,MaxHeight) };
Mat M = getPerspectiveTransform(SrcAffinePts, DstAffinePts);
warpPerspective(srcImg, warpImg, M, Size(MaxWidth, MaxHeight), 1, 0, Scalar::all(0));
return true;
}
3.1 功能效果
四、多元模板圖像
關(guān)于如何計(jì)算均值圖像、差異圖像、以及亮、暗閾值圖像在下面源碼中以復(fù)現(xiàn)，具體請閱讀源碼。
4.1 功能源碼
//計(jì)算均值圖像
void meanImage(cv::Mat gaussianImg, cv::Mat erodeImg, cv::Mat dilateImg, cv::Mat& meanImg)
{
meanImg = Mat::zeros(gaussianImg.size(), CV_8U);
for (int i = 0; i < gaussianImg.rows; i++)
{
uchar* gData = gaussianImg.ptr<uchar>(i);
uchar* eData = erodeImg.ptr<uchar>(i);
uchar* dData = dilateImg.ptr<uchar>(i);
uchar* mData = meanImg.ptr<uchar>(i);
for (int j = 0; j < gaussianImg.cols; j++)
{
mData[j] = (gData[j] + eData[j] + dData[j]) / 3;
}
}
}
//計(jì)算差異圖像
void diffImage(cv::Mat gaussianImg, cv::Mat erodeImg, cv::Mat dilateImg, cv::Mat meanImg, cv::Mat& diffImg)
{
diffImg = Mat::zeros(gaussianImg.size(), CV_8U);
for (int i = 0; i < gaussianImg.rows; i++)
{
uchar* gData = gaussianImg.ptr<uchar>(i);
uchar* eData = erodeImg.ptr<uchar>(i);
uchar* dData = dilateImg.ptr<uchar>(i);
uchar* mData = meanImg.ptr<uchar>(i);
uchar* Data = diffImg.ptr<uchar>(i);
for (int j = 0; j < gaussianImg.cols; j++)
{
Data[j] = sqrt(powf((gData[j] - mData[j]), 2) + powf((eData[j] - mData[j]), 2) + powf((dData[j] - mData[j]), 2) / 3.0);
}
}
}
//計(jì)算亮、暗閾值圖像
void threshImg(cv::Mat meanImg, cv::Mat diffImg,cv::Mat &LightImg,cv::Mat& DarkImg)
{
double bu = 1.2;
double bl = 0.8;
Mat mul_bu, mul_bl;
multiply(diffImg, bu, mul_bu);
multiply(diffImg, bl, mul_bl);
LightImg = Mat::zeros(meanImg.size(), CV_8U);
DarkImg = Mat::zeros(meanImg.size(), CV_8U);
for (int i = 0; i < meanImg.rows; i++)
{
uchar* mData = meanImg.ptr<uchar>(i);
uchar* dData = diffImg.ptr<uchar>(i);
uchar* lData = LightImg.ptr<uchar>(i);
uchar* DData = DarkImg.ptr<uchar>(i);
uchar* buData = mul_bu.ptr<uchar>(i);
uchar* blData = mul_bl.ptr<uchar>(i);
for (int j = 0; j < meanImg.cols; j++)
{
lData[j] = saturate_cast<uchar>(mData[j] + buData[j]);
DData[j] = saturate_cast<uchar>(mData[j] - blData[j]);
}
}
}
如下圖為亮閾值圖像。
如下圖為暗閾值圖像。
五、缺陷檢測
以上，我們計(jì)算出來了模板的亮、暗閾值圖像，主要就是通過與這兩幅圖像的灰度值進(jìn)行對比，進(jìn)而確定缺陷部分。
如圖為：將配準(zhǔn)對其后的待測圖像c（x，y）與差異模型的閾值圖像 Tu， l（x，y）進(jìn)行像素點(diǎn)之間的灰度值對比，當(dāng)滿足如下條件時(shí)，即為檢測到的缺陷區(qū)域。
c（x，y）>Tu（x，y）∨c（x，y）<T l （x，y）
由于此時(shí)提取到的缺陷部分是基于仿射矯正后的，故如果需要在原圖上顯示結(jié)果的話，還需要將檢測結(jié)果進(jìn)行反變換回去。具體請閱讀源碼。
5.1 功能源碼
//缺陷檢測
void DetectImg(cv::Mat warpImg,cv::Mat LightImg, cv::Mat DarkImg, Point2f SrcAffinePts[],cv::Mat decImg, cv::Mat& showImg)
{
int th = 10;//容差閾值
Mat resImg = Mat::zeros(warpImg.size(), CV_8U);
for (int i = 0; i < warpImg.rows; i++)
{
uchar* sData = warpImg.ptr<uchar>(i);
uchar* lData = LightImg.ptr<uchar>(i);
uchar* dData = DarkImg.ptr<uchar>(i);
uchar* rData = resImg.ptr<uchar>(i);
for (int j = 0; j < warpImg.cols; j++)
{
//識別缺陷
if ((sData[j]-th) > lData[j]||(sData[j]+th) < dData[j])
{
rData[j] = 255;
}
}
}
Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3));
morphologyEx(resImg, resImg, MORPH_OPEN, kernel);
kernel = getStructuringElement(MORPH_RECT, Size(7, 7));
dilate(resImg, resImg, kernel);
//namedWindow("resImg", WINDOW_NORMAL);
//imshow("resImg", resImg);
//繪制缺陷結(jié)果
vector<vector<Point>>contours;
findContours(resImg, contours, RETR_LIST, CHAIN_APPROX_SIMPLE);
for (int t = 0; t < contours.size(); t++)
{
if (contourArea(contours[t]) > 50)
{
Rect rect = boundingRect(contours[t]);
rectangle(showImg, rect, Scalar(0, 0, 255), 2);
}
}
//將結(jié)果反變換回原圖像
Point2f DstAffinePts[4] = { Point2f(0,0),Point2f(decImg.cols,0),Point2f(decImg.cols,decImg.rows),Point2f(0,decImg.rows) };
Mat M = getPerspectiveTransform( DstAffinePts, SrcAffinePts);
warpPerspective(showImg, showImg, M, decImg.size(), 1, 0, Scalar::all(0));
}
六、效果演示
如上圖效果所示，與模板圖像對比，基本上將待測圖像里的缺陷全部檢測，而且誤檢情況很少。上應(yīng)用到不同物體檢測時(shí)，需要根據(jù)自己的圖像數(shù)據(jù)進(jìn)行稍小的調(diào)參。在這里只是給大家提供一個(gè)算法思路，歡迎大家進(jìn)行交流學(xué)習(xí)?。?！
已經(jīng)開通微信公眾號啦！歡迎大家關(guān)注呀！公眾號會不定期更新OpenCV系列文章以及相關(guān)源代碼資料等！歡迎大家關(guān)注交流學(xué)習(xí)！文章來源：http://www.zghlxwxcb.cn/news/detail-718893.html
總結(jié)
本文使用OpenCV C++ 進(jìn)行PCB印刷缺陷檢測，主要操作有以下幾點(diǎn)。
1、將圖像進(jìn)行仿射變換，與模板圖像進(jìn)行配準(zhǔn)
2、計(jì)算差異圖像，得到基于模板的亮、暗閾值圖像
3、將待檢測圖像與亮、暗閾值圖像逐像素比較，設(shè)定閾值，超出閾值部分的即為缺陷文章來源地址http://www.zghlxwxcb.cn/news/detail-718893.html
到了這里，關(guān)于OpenCV C++案例實(shí)戰(zhàn)三十三《缺陷檢測》的文章就介紹完了。如果您還想了解更多內(nèi)容，請?jiān)谟疑辖撬阉鱐OY模板網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章，希望大家以后多多支持TOY模板網(wǎng)！
