去除图像中虚假的小噪声岛 - Python OpenCV
Remove spurious small islands of noise in an image - Python OpenCV
我正在尝试消除一些图像中的背景噪音。这是未过滤的图像。
为了过滤，我使用这段代码生成了图像中应该保留的内容的掩码：
element = cv2.getStructuringElement(cv2.MORPH_RECT, (2,2))
mask = cv2.erode(mask, element, iterations = 1)
mask = cv2.dilate(mask, element, iterations = 1)
mask = cv2.erode(mask, element)
使用这段代码，当我从原始图像中屏蔽掉不需要的像素时，我得到的是：
正如你所看到的，中间区域的所有小点都消失了，但是来自更密集区域的很多小点也消失了。为了减少过滤，我尝试将 getStructuringElement() 的第二个参数更改为 (1,1) 但这样做会给我第一张图像，就好像没有过滤任何东西一样。
有什么方法可以应用介于这两个极端之间的过滤器吗？
另外，谁能给我解释一下getStructuringElement()到底是做什么的？什么是 "structuring element"？它有什么作用，它的大小（第二个参数）如何影响过滤级别？
您的很多问题源于您不确定形态学图像处理的工作原理，但我们可以打消您的疑虑。您可以将结构元素解释为要比较的 "base shape"。结构元素中的 1 对应于您要在此形状中查看的像素，而 0 是您要忽略的像素。有不同的形状，比如矩形（你用MORPH_RECT算出来的），椭圆形，圆形等等
因此，cv2.getStructuringElement returns 适合您的结构元素。第一个参数指定你想要的类型，第二个参数指定你想要的大小。在你的情况下，你想要一个 2 x 2 "rectangle"... 这实际上是一个正方形，但没关系。
在更混蛋的意义上，您使用结构元素并从左到右、从上到下扫描图像，然后抓取像素邻域。每个像素邻域的中心正好位于您正在查看的感兴趣像素处。每个像素邻域的大小与结构元素的大小相同。
侵蚀
对于侵蚀，您检查像素邻域中接触结构元素的所有像素。如果每个非零像素都接触到一个结构元素像素为1，那么相对于输入对应中心位置的输出像素为1。如果至少有一个非-不接触结构像素为1的零像素，则输出为0。
就矩形结构元素而言，您需要确保结构元素中的每个像素都与像素邻域的图像中的非零像素接触。如果不是，则输出为 0，否则为 1。这有效地消除了小的杂散噪声区域，并略微减小了对象的区域。
矩形越大，执行的收缩越多。结构元素的大小是一个基线，任何小于此矩形结构元素的对象，您都可以认为它们已被过滤并且不会出现在输出中。基本上，选择 1 x 1 矩形结构元素与输入图像本身相同，因为该结构元素适合其中的所有像素，因为像素是图像中可能的最小信息表示。
扩张
扩张与侵蚀相反。如果至少有一个非零像素接触到结构元素中的一个像素为 1，则输出为 1，否则输出为 0。您可以将此视为稍微扩大对象区域并使小岛变大。
这里关于大小的含义是，结构元素越大，对象的面积就越大，孤岛就越大。
你所做的是先腐蚀再膨胀。这就是所谓的 opening 操作。此操作的目的是去除小的噪声岛，同时（试图）保持图像中较大对象的区域。侵蚀会移除这些岛屿，而膨胀会将较大的物体恢复到原来的大小。
出于某种原因，您再次进行侵蚀，我不太明白，但没关系。
我个人会做的是先执行 closing 操作，即先膨胀再腐蚀。闭合有助于将靠近的区域分组为单个对象。因此，您会看到一些更大的区域彼此靠近，在我们做任何其他事情之前可能应该将它们连接起来。因此，我会先做一个关闭，然后再做一个 opening 这样我们就可以移除孤立的嘈杂区域。请注意，我要使结束结构元素大小 更大 因为我想确保我得到附近的像素和开放结构元素大小 更小 这样我就不想错误地删除任何较大的区域。
一旦你这样做了，我会用原始图像屏蔽掉任何额外的信息，这样你就可以在小岛消失的同时保持较大的区域完好无损。
不要将先腐蚀后膨胀，或先膨胀后腐蚀链接起来，而是使用 cv2.morphologyEx，您可以在其中指定 MORPH_OPEN 和 MORPH_CLOSE 作为标志。
因此，我个人会这样做，假设您的图片名为 spots.png:
import cv2
import numpy as np
img = cv2.imread('spots.png')
img_bw = 255*(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) > 5).astype('uint8')
se1 = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
se2 = cv2.getStructuringElement(cv2.MORPH_RECT, (2,2))
mask = cv2.morphologyEx(img_bw, cv2.MORPH_CLOSE, se1)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, se2)
mask = np.dstack([mask, mask, mask]) / 255
out = img * mask
cv2.imshow('Output', out)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.png', out)
上面的代码是不言自明的。首先，我读入图像，然后将图像转换为灰度和强度为 5 的阈值，以创建被认为是对象像素的蒙版。这是一个相当干净的图像，所以任何大于 5 的图像似乎都有效。对于形态例程，我需要将图像转换为 uint8 并将掩码缩放为 255。接下来，我们创建两个结构元素 - 一个是用于闭合操作的 5 x 5 矩形，另一个是 2 x 2 为开操作。我运行 cv2.morphologyEx两次分别对阈值图像进行开闭操作。
完成后，我将蒙版堆叠起来，使其成为 3D 矩阵并除以 255，使其成为 [0,1] 的蒙版，然后我们将此蒙版与原始图像相乘，以便我们可以抓取图像的原始像素，并从蒙版输出中维护被认为是真实对象的内容。
其余仅供说明。我在一个window中展示图片，我也将图片保存到一个名为output.png的文件中，它的目的是向你展示这个post中的图片是什么样子的。
我明白了：
请记住，它并不完美，但比您以前的体验要好得多。您必须尝试调整结构元素大小以获得您认为好的输出，但这肯定足以让您入门。祝你好运！
C++ 版本
有人要求使用 OpenCV 将我上面编写的代码翻译成 C++ 版本。我终于开始编写代码的 C++ 版本，并且已经在 OpenCV 3.1.0 上进行了测试。代码如下。如您所见，代码与 Python 版本中的代码非常相似。但是，我在原始图像的副本上使用了 cv::Mat::setTo，并将最终蒙版中不属于的部分设置为 0。这与在 Python 中执行逐元素乘法相同。
#include <opencv2/opencv.hpp>
using namespace cv;
int main(int argc, char *argv[])
{
// Read in the image
Mat img = imread("spots.png", CV_LOAD_IMAGE_COLOR);
// Convert to black and white
Mat img_bw;
cvtColor(img, img_bw, COLOR_BGR2GRAY);
img_bw = img_bw > 5;
// Define the structuring elements
Mat se1 = getStructuringElement(MORPH_RECT, Size(5, 5));
Mat se2 = getStructuringElement(MORPH_RECT, Size(2, 2));
// Perform closing then opening
Mat mask;
morphologyEx(img_bw, mask, MORPH_CLOSE, se1);
morphologyEx(mask, mask, MORPH_OPEN, se2);
// Filter the output
Mat out = img.clone();
out.setTo(Scalar(0), mask == 0);
// Show image and save
namedWindow("Output", WINDOW_NORMAL);
imshow("Output", out);
waitKey(0);
destroyWindow("Output");
imwrite("output.png", out);
}
结果应该与您在 Python 版本中获得的结果相同。
还可以使用 skimage 中的 remove_small_objects 函数删除小像素簇：
import matplotlib.pyplot as plt
from skimage import morphology
import numpy as np
import skimage
# read the image, grayscale it, binarize it, then remove small pixel clusters
im = plt.imread('spots.png')
grayscale = skimage.color.rgb2gray(im)
binarized = np.where(grayscale>0.1, 1, 0)
processed = morphology.remove_small_objects(binarized.astype(bool), min_size=2, connectivity=2).astype(int)
# black out pixels
mask_x, mask_y = np.where(processed == 0)
im[mask_x, mask_y, :3] = 0
# plot the result
plt.figure(figsize=(10,10))
plt.imshow(im)
这显示：
要仅保留较大的簇，请尝试增加 min_size（保留簇的最小大小）并减小 connectivity（形成簇时像素邻域的大小）。仅使用这两个参数，就可以只保留适当大小的像素簇。
我正在尝试消除一些图像中的背景噪音。这是未过滤的图像。
为了过滤，我使用这段代码生成了图像中应该保留的内容的掩码：
element = cv2.getStructuringElement(cv2.MORPH_RECT, (2,2))
mask = cv2.erode(mask, element, iterations = 1)
mask = cv2.dilate(mask, element, iterations = 1)
mask = cv2.erode(mask, element)
使用这段代码，当我从原始图像中屏蔽掉不需要的像素时，我得到的是：
正如你所看到的，中间区域的所有小点都消失了，但是来自更密集区域的很多小点也消失了。为了减少过滤，我尝试将 getStructuringElement() 的第二个参数更改为 (1,1) 但这样做会给我第一张图像，就好像没有过滤任何东西一样。
有什么方法可以应用介于这两个极端之间的过滤器吗？
另外，谁能给我解释一下getStructuringElement()到底是做什么的？什么是 "structuring element"？它有什么作用，它的大小（第二个参数）如何影响过滤级别？
您的很多问题源于您不确定形态学图像处理的工作原理，但我们可以打消您的疑虑。您可以将结构元素解释为要比较的 "base shape"。结构元素中的 1 对应于您要在此形状中查看的像素，而 0 是您要忽略的像素。有不同的形状，比如矩形（你用MORPH_RECT算出来的），椭圆形，圆形等等
因此，cv2.getStructuringElement returns 适合您的结构元素。第一个参数指定你想要的类型，第二个参数指定你想要的大小。在你的情况下，你想要一个 2 x 2 "rectangle"... 这实际上是一个正方形，但没关系。
在更混蛋的意义上，您使用结构元素并从左到右、从上到下扫描图像，然后抓取像素邻域。每个像素邻域的中心正好位于您正在查看的感兴趣像素处。每个像素邻域的大小与结构元素的大小相同。
侵蚀
对于侵蚀，您检查像素邻域中接触结构元素的所有像素。如果每个非零像素都接触到一个结构元素像素为1，那么相对于输入对应中心位置的输出像素为1。如果至少有一个非-不接触结构像素为1的零像素，则输出为0。
就矩形结构元素而言，您需要确保结构元素中的每个像素都与像素邻域的图像中的非零像素接触。如果不是，则输出为 0，否则为 1。这有效地消除了小的杂散噪声区域，并略微减小了对象的区域。
矩形越大，执行的收缩越多。结构元素的大小是一个基线，任何小于此矩形结构元素的对象，您都可以认为它们已被过滤并且不会出现在输出中。基本上，选择 1 x 1 矩形结构元素与输入图像本身相同，因为该结构元素适合其中的所有像素，因为像素是图像中可能的最小信息表示。
扩张
扩张与侵蚀相反。如果至少有一个非零像素接触到结构元素中的一个像素为 1，则输出为 1，否则输出为 0。您可以将此视为稍微扩大对象区域并使小岛变大。
这里关于大小的含义是，结构元素越大，对象的面积就越大，孤岛就越大。
你所做的是先腐蚀再膨胀。这就是所谓的 opening 操作。此操作的目的是去除小的噪声岛，同时（试图）保持图像中较大对象的区域。侵蚀会移除这些岛屿，而膨胀会将较大的物体恢复到原来的大小。
出于某种原因，您再次进行侵蚀，我不太明白，但没关系。
我个人会做的是先执行 closing 操作，即先膨胀再腐蚀。闭合有助于将靠近的区域分组为单个对象。因此，您会看到一些更大的区域彼此靠近，在我们做任何其他事情之前可能应该将它们连接起来。因此，我会先做一个关闭，然后再做一个 opening 这样我们就可以移除孤立的嘈杂区域。请注意，我要使结束结构元素大小 更大 因为我想确保我得到附近的像素和开放结构元素大小 更小 这样我就不想错误地删除任何较大的区域。
一旦你这样做了，我会用原始图像屏蔽掉任何额外的信息，这样你就可以在小岛消失的同时保持较大的区域完好无损。
不要将先腐蚀后膨胀，或先膨胀后腐蚀链接起来，而是使用 cv2.morphologyEx，您可以在其中指定 MORPH_OPEN 和 MORPH_CLOSE 作为标志。
因此，我个人会这样做，假设您的图片名为 spots.png:
import cv2
import numpy as np
img = cv2.imread('spots.png')
img_bw = 255*(cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) > 5).astype('uint8')
se1 = cv2.getStructuringElement(cv2.MORPH_RECT, (5,5))
se2 = cv2.getStructuringElement(cv2.MORPH_RECT, (2,2))
mask = cv2.morphologyEx(img_bw, cv2.MORPH_CLOSE, se1)
mask = cv2.morphologyEx(mask, cv2.MORPH_OPEN, se2)
mask = np.dstack([mask, mask, mask]) / 255
out = img * mask
cv2.imshow('Output', out)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('output.png', out)
上面的代码是不言自明的。首先，我读入图像，然后将图像转换为灰度和强度为 5 的阈值，以创建被认为是对象像素的蒙版。这是一个相当干净的图像，所以任何大于 5 的图像似乎都有效。对于形态例程，我需要将图像转换为 uint8 并将掩码缩放为 255。接下来，我们创建两个结构元素 - 一个是用于闭合操作的 5 x 5 矩形，另一个是 2 x 2 为开操作。我运行 cv2.morphologyEx两次分别对阈值图像进行开闭操作。
完成后，我将蒙版堆叠起来，使其成为 3D 矩阵并除以 255，使其成为 [0,1] 的蒙版，然后我们将此蒙版与原始图像相乘，以便我们可以抓取图像的原始像素，并从蒙版输出中维护被认为是真实对象的内容。
其余仅供说明。我在一个window中展示图片，我也将图片保存到一个名为output.png的文件中，它的目的是向你展示这个post中的图片是什么样子的。
我明白了：
请记住，它并不完美，但比您以前的体验要好得多。您必须尝试调整结构元素大小以获得您认为好的输出，但这肯定足以让您入门。祝你好运！
C++ 版本
有人要求使用 OpenCV 将我上面编写的代码翻译成 C++ 版本。我终于开始编写代码的 C++ 版本，并且已经在 OpenCV 3.1.0 上进行了测试。代码如下。如您所见，代码与 Python 版本中的代码非常相似。但是，我在原始图像的副本上使用了 cv::Mat::setTo，并将最终蒙版中不属于的部分设置为 0。这与在 Python 中执行逐元素乘法相同。
#include <opencv2/opencv.hpp>
using namespace cv;
int main(int argc, char *argv[])
{
// Read in the image
Mat img = imread("spots.png", CV_LOAD_IMAGE_COLOR);
// Convert to black and white
Mat img_bw;
cvtColor(img, img_bw, COLOR_BGR2GRAY);
img_bw = img_bw > 5;
// Define the structuring elements
Mat se1 = getStructuringElement(MORPH_RECT, Size(5, 5));
Mat se2 = getStructuringElement(MORPH_RECT, Size(2, 2));
// Perform closing then opening
Mat mask;
morphologyEx(img_bw, mask, MORPH_CLOSE, se1);
morphologyEx(mask, mask, MORPH_OPEN, se2);
// Filter the output
Mat out = img.clone();
out.setTo(Scalar(0), mask == 0);
// Show image and save
namedWindow("Output", WINDOW_NORMAL);
imshow("Output", out);
waitKey(0);
destroyWindow("Output");
imwrite("output.png", out);
}
结果应该与您在 Python 版本中获得的结果相同。
还可以使用 skimage 中的 remove_small_objects 函数删除小像素簇：
import matplotlib.pyplot as plt
from skimage import morphology
import numpy as np
import skimage
# read the image, grayscale it, binarize it, then remove small pixel clusters
im = plt.imread('spots.png')
grayscale = skimage.color.rgb2gray(im)
binarized = np.where(grayscale>0.1, 1, 0)
processed = morphology.remove_small_objects(binarized.astype(bool), min_size=2, connectivity=2).astype(int)
# black out pixels
mask_x, mask_y = np.where(processed == 0)
im[mask_x, mask_y, :3] = 0
# plot the result
plt.figure(figsize=(10,10))
plt.imshow(im)
这显示：
要仅保留较大的簇，请尝试增加 min_size（保留簇的最小大小）并减小 connectivity（形成簇时像素邻域的大小）。仅使用这两个参数，就可以只保留适当大小的像素簇。