OpenCV C + +/Obj-C: 检测一张纸/方块

我成功地在我的测试应用程序中实现了 OpenCV 方检测示例,但是现在需要过滤输出,因为它相当混乱——或者我的代码错了?

我感兴趣的四个角点的文件倾斜减少(如 那个)和进一步的处理..。

投入及产出: Input & Output

原图:

点击

密码:

double angle( cv::Point pt1, cv::Point pt2, cv::Point pt0 ) {
double dx1 = pt1.x - pt0.x;
double dy1 = pt1.y - pt0.y;
double dx2 = pt2.x - pt0.x;
double dy2 = pt2.y - pt0.y;
return (dx1*dx2 + dy1*dy2)/sqrt((dx1*dx1 + dy1*dy1)*(dx2*dx2 + dy2*dy2) + 1e-10);
}


- (std::vector<std::vector<cv::Point> >)findSquaresInImage:(cv::Mat)_image
{
std::vector<std::vector<cv::Point> > squares;
cv::Mat pyr, timg, gray0(_image.size(), CV_8U), gray;
int thresh = 50, N = 11;
cv::pyrDown(_image, pyr, cv::Size(_image.cols/2, _image.rows/2));
cv::pyrUp(pyr, timg, _image.size());
std::vector<std::vector<cv::Point> > contours;
for( int c = 0; c < 3; c++ ) {
int ch[] = {c, 0};
mixChannels(&timg, 1, &gray0, 1, ch, 1);
for( int l = 0; l < N; l++ ) {
if( l == 0 ) {
cv::Canny(gray0, gray, 0, thresh, 5);
cv::dilate(gray, gray, cv::Mat(), cv::Point(-1,-1));
}
else {
gray = gray0 >= (l+1)*255/N;
}
cv::findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);
std::vector<cv::Point> approx;
for( size_t i = 0; i < contours.size(); i++ )
{
cv::approxPolyDP(cv::Mat(contours[i]), approx, arcLength(cv::Mat(contours[i]), true)*0.02, true);
if( approx.size() == 4 && fabs(contourArea(cv::Mat(approx))) > 1000 && cv::isContourConvex(cv::Mat(approx))) {
double maxCosine = 0;


for( int j = 2; j < 5; j++ )
{
double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
maxCosine = MAX(maxCosine, cosine);
}


if( maxCosine < 0.3 ) {
squares.push_back(approx);
}
}
}
}
}
return squares;
}

2012年8月17日编辑:

要在图像上绘制检测到的正方形,请使用以下代码:

cv::Mat debugSquares( std::vector<std::vector<cv::Point> > squares, cv::Mat image )
{
for ( int i = 0; i< squares.size(); i++ ) {
// draw contour
cv::drawContours(image, squares, i, cv::Scalar(255,0,0), 1, 8, std::vector<cv::Vec4i>(), 0, cv::Point());


// draw bounding rect
cv::Rect rect = boundingRect(cv::Mat(squares[i]));
cv::rectangle(image, rect.tl(), rect.br(), cv::Scalar(0,255,0), 2, 8, 0);


// draw rotated rect
cv::RotatedRect minRect = minAreaRect(cv::Mat(squares[i]));
cv::Point2f rect_points[4];
minRect.points( rect_points );
for ( int j = 0; j < 4; j++ ) {
cv::line( image, rect_points[j], rect_points[(j+1)%4], cv::Scalar(0,0,255), 1, 8 ); // blue
}
}


return image;
}
128329 次浏览

这是一个在 Stackoverflow 反复出现的话题,由于我无法找到一个相关的实施方案,我决定接受这个挑战。

我对 OpenCV 中的正方形演示做了一些修改,得到的 C + + 代码能够检测图片中的一张纸:

void find_squares(Mat& image, vector<vector<Point> >& squares)
{
// blur will enhance edge detection
Mat blurred(image);
medianBlur(image, blurred, 9);


Mat gray0(blurred.size(), CV_8U), gray;
vector<vector<Point> > contours;


// find squares in every color plane of the image
for (int c = 0; c < 3; c++)
{
int ch[] = {c, 0};
mixChannels(&blurred, 1, &gray0, 1, ch, 1);


// try several threshold levels
const int threshold_level = 2;
for (int l = 0; l < threshold_level; l++)
{
// Use Canny instead of zero threshold level!
// Canny helps to catch squares with gradient shading
if (l == 0)
{
Canny(gray0, gray, 10, 20, 3); //


// Dilate helps to remove potential holes between edge segments
dilate(gray, gray, Mat(), Point(-1,-1));
}
else
{
gray = gray0 >= (l+1) * 255 / threshold_level;
}


// Find contours and store them in a list
findContours(gray, contours, CV_RETR_LIST, CV_CHAIN_APPROX_SIMPLE);


// Test contours
vector<Point> approx;
for (size_t i = 0; i < contours.size(); i++)
{
// approximate contour with accuracy proportional
// to the contour perimeter
approxPolyDP(Mat(contours[i]), approx, arcLength(Mat(contours[i]), true)*0.02, true);


// Note: absolute value of an area is used because
// area may be positive or negative - in accordance with the
// contour orientation
if (approx.size() == 4 &&
fabs(contourArea(Mat(approx))) > 1000 &&
isContourConvex(Mat(approx)))
{
double maxCosine = 0;


for (int j = 2; j < 5; j++)
{
double cosine = fabs(angle(approx[j%4], approx[j-2], approx[j-1]));
maxCosine = MAX(maxCosine, cosine);
}


if (maxCosine < 0.3)
squares.push_back(approx);
}
}
}
}
}

执行此程序后,这张纸将成为 vector<vector<Point> >中最大的正方形:

opencv paper sheet detection

我让你写一个函数来找到最大的正方形。 ;)

除非有一些其他的要求没有指定,我会简单地转换你的彩色图像灰度和工作,只与(不需要在3个通道工作,对比度现在已经太高)。此外,除非有一些具体的问题,有关调整大小,我会与一个缩小版本的您的图像,因为他们是相对较大,大小没有增加任何正在解决的问题。最后,使用中值滤波器、一些基本的形态学工具和统计学(主要用于 Otsu 阈值,这已经为您完成了)解决了问题。

下面是我从你的样本图像和其他一些图像中获得的,这些图像是我在附近找到的一张纸:

enter image description hereenter image description here

中值滤波器用于从现在的灰度图像中去除较小的细节。它可能会去除白纸内部的细线,这是好事,因为这样你就会以容易丢弃的微小连接部件结束。在中位数之后,应用形态学梯度(简称为 dilation-erosion)将结果由 Otsu 进行二值化。形态梯度法是一种较好的边缘保持方法,值得进一步推广。然后,由于这个梯度将增加轮廓宽度,应用形态学细化。现在您可以丢弃小的组件。

在这一点上,这是我们与上面的右图(在绘制蓝色多边形之前) ,左边的没有显示,因为唯一剩下的组成部分是一个描述文件:

enter image description here

考虑到这些例子,现在剩下的唯一问题是区分看起来像矩形的组件和其他不像矩形的组件。这是一个确定包含形状的凸壳面积与其边界盒面积之间的比率的问题; 对于这些例子,比率0.7可以很好地工作。也许您还需要丢弃论文中的组件,但是在这些示例中不需要使用这种方法(尽管如此,完成这一步应该非常容易,特别是因为它可以直接通过 OpenCV 完成)。

作为参考,下面是 Mathematica 中的一个示例代码:

f = Import["http://thwartedglamour.files.wordpress.com/2010/06/my-coffee-table-1-sa.jpg"]
f = ImageResize[f, ImageDimensions[f][[1]]/4]
g = MedianFilter[ColorConvert[f, "Grayscale"], 2]
h = DeleteSmallComponents[Thinning[
Binarize[ImageSubtract[Dilation[g, 1], Erosion[g, 1]]]]]
convexvert = ComponentMeasurements[SelectComponents[
h, {"ConvexArea", "BoundingBoxArea"}, #1 / #2 > 0.7 &],
"ConvexVertices"][[All, 2]]
(* To visualize the blue polygons above: *)
Show[f, Graphics[{EdgeForm[{Blue, Thick}], RGBColor[0, 0, 1, 0.5],
Polygon @@ convexvert}]]

如果有更多不同的情况下,纸张的矩形没有很好的定义,或方法混淆它与其他形状-这些情况可能会发生,由于各种原因,但一个共同的原因是糟糕的图像采集-然后尝试结合预处理步骤的工作描述了文件“基于窗口霍夫变换的矩形检测”。

你需要的是一个 四合院而不是一个旋转的矩形。 RotatedRect会给你不正确的结果。而且你需要一个透视投影。

基本上我们必须做的是:

  • 循环通过所有的多边形片段,并连接那些几乎是平等的。
  • 把它们排序,这样你就有了4个最大的线段。
  • 交叉这些线,你有4个最有可能的角点。
  • 通过从角点和已知对象的纵横比收集的透视图转换矩阵。

我实现了一个类 Quadrangle,它处理轮廓到四边形的转换,并且还将在正确的透视图上进行转换。

在这里可以看到一个工作实现: 绘制轮廓

检测纸有点老派。如果你想解决倾斜检测,那么它是更好的,如果你直接针对文本行检测。有了这个,你将得到极值,左,右,顶部和底部。如果你不想要的话,丢弃图像中的任何图形,然后对文本线段做一些统计,以找到最常出现的角度范围或角度。这样你就可以缩小到一个好的倾斜角度。现在,您把这些参数的倾斜角度和极值,以桌面和削减图像到什么是必要的。

对于当前的映像需求,最好尝试 CV _ RETR _ EXTERNAL 而不是 CV _ RETR _ LIST。

另一种边缘检测方法是在纸张边缘上训练一个随机森林分类器,然后利用该分类器得到边缘映射。到目前为止,这是一种强有力的方法,但需要训练和时间。

随机森林将在低对比度差异的场景下工作,例如在粗略的白色背景上使用白色纸张。

我要迟到了。


在你的图像中,纸张是 white,而背景是 colored。因此,最好在 HSV color space中检测出纸张是 Saturation(饱和度)通道。请先参考维基 和 _ HSV。然后我会复制大部分的想法从我的答案在这个 检测图像中的彩色部分


主要步骤:

  1. 读入 BGR
  2. 将图像从 bgr转换为 hsv空间
  3. 启动 S 频道
  4. 然后找到最大的外部轮廓(或做 Canny,或 HoughLines,因为你喜欢,我选择 findContours) ,大约得到的角落。

这是我的结果:

enter image description here


Python 代码(Python 3.5 + OpenCV 3.3) :

#!/usr/bin/python3
# 2017.12.20 10:47:28 CST
# 2017.12.20 11:29:30 CST


import cv2
import numpy as np


##(1) read into  bgr-space
img = cv2.imread("test2.jpg")


##(2) convert to hsv-space, then split the channels
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
h,s,v = cv2.split(hsv)


##(3) threshold the S channel using adaptive method(`THRESH_OTSU`) or fixed thresh
th, threshed = cv2.threshold(s, 50, 255, cv2.THRESH_BINARY_INV)


##(4) find all the external contours on the threshed S
#_, cnts, _ = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
cnts = cv2.findContours(threshed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)[-2]


canvas  = img.copy()
#cv2.drawContours(canvas, cnts, -1, (0,255,0), 1)


## sort and choose the largest contour
cnts = sorted(cnts, key = cv2.contourArea)
cnt = cnts[-1]


## approx the contour, so the get the corner points
arclen = cv2.arcLength(cnt, True)
approx = cv2.approxPolyDP(cnt, 0.02* arclen, True)
cv2.drawContours(canvas, [cnt], -1, (255,0,0), 1, cv2.LINE_AA)
cv2.drawContours(canvas, [approx], -1, (0, 0, 255), 1, cv2.LINE_AA)


## Ok, you can see the result as tag(6)
cv2.imwrite("detected.png", canvas)

相关答案:

  1. 如何使用 OpenCV 检测图像中的彩色补丁?
  2. 基于 OpenCV 的彩色背景边缘检测
  3. OpenCV C + +/Obj-C: 检测一张纸/方块
  4. 如何在不同的 OpenCV 版本中使用‘ cv2.findContours’?

一旦检测到文档的边框,就可以执行 四点透视变换来获得图像的自上而下的鸟瞰图。这将修复倾斜并仅隔离所需的对象。


输入图像:

检测到文本对象

文本文档的自顶向下视图

密码

from imutils.perspective import four_point_transform
import cv2
import numpy


# Load image, grayscale, Gaussian blur, Otsu's threshold
image = cv2.imread("1.png")
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray, (7,7), 0)
thresh = cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)[1]


# Find contours and sort for largest contour
cnts = cv2.findContours(thresh, cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
cnts = cnts[0] if len(cnts) == 2 else cnts[1]
cnts = sorted(cnts, key=cv2.contourArea, reverse=True)
displayCnt = None


for c in cnts:
# Perform contour approximation
peri = cv2.arcLength(c, True)
approx = cv2.approxPolyDP(c, 0.02 * peri, True)
if len(approx) == 4:
displayCnt = approx
break


# Obtain birds' eye view of image
warped = four_point_transform(image, displayCnt.reshape(4, 2))


cv2.imshow("thresh", thresh)
cv2.imshow("warped", warped)
cv2.imshow("image", image)
cv2.waitKey()