3.3 halcon实现上位机检测胶囊的有无与缺陷

当前帖子实现一个在医药行业的视觉应用，实现功能是检测被自动填充的胶囊。是否有被填充，被填充的胶囊是否正确。


思路首先是获取 胶囊区域在摆正时的中心坐标和角度，
同时得到在这种情况 下所有胶囊区域 集合及背景骨架，可以理解为预先定位。
采用blob提取和几何变换相结合方法定位选择一个位置，
让后续采集的图像 都 在这个固定的位置提取药品目标区域 ，从而 进行检测 ，周而复始地进行检测工作。


让胶囊区域 和前面 预先确定的固定位置复合，是通过旋转加平移实现，
在这个位置提取前面 保存的胶囊区域 集合，
这样就可以让每张图像 通过 定位提取得到所有的对应区域。
最后对这些区域 进行处理和遍历，判断 它们的面积和灰度特点等。
进而得到结果。
这是一个思路。也可以采用其他 的blob分析 思路 ，
如用原图和背景骨架做差，得到目标区域 ，再配合几何变换，同样可以定位到目标区域 。
blob分析 定位方法很灵活，核心 思想就是想办法利用自己熟悉的算子逼近与定位ROI。

下面是代码的实现与注释

1. 
   
2. dev_close_window ()
   
3. dev_update_off ()
   
4. read_image (ImageOrig, 'blister/blister_reference')
   
5. dev_open_window_fit_image (ImageOrig, 0, 0, -1, -1, WindowHandle)
   
6. set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
   
7. dev_set_draw ('margin')
   
8. dev_set_line_width (3)
   
9. *
   
10. *获取多通道图像ImageOrig的第一通道图像。
    
11. access_channel (ImageOrig, Image1, 1)
    
12. threshold (Image1, Region, 90, 255)
    
13. *将二值化的区域 进行凸性转换，也就是将区域外围凹陷处填平，使区域更加规范，结果保存到Blister。
    
14. shape_trans (Region, Blister, 'convex')
    
15. *获取区域角度，单位角度，以水平向右为基准，逆时针方向 为正。
    
16. orientation_region (Blister, Phi)
    
17. *获取区域的面积 与中心坐标
    
18. area_center (Blister, Area1, Row, Column)
    
19. *从一个点和角度进行偏向 变换，这里目的是为了将图片进行旋转成水平位置。
    
20. *第一个Row, Column, Phi为变换前点的坐标与角度，Row, Column, 0为变换后的点坐标与角度。0表示最后 区域 旋转成水平。
    
21. *这个角度是以水平向右为基准，区域主轴和这个基准的夹角，逆时针为正。
    
22. *这个算子也就是生成一个可以执行旋转平移的矩阵，以句柄 形式保存在变量HomMat2D。
    
23. vector_angle_to_rigid (Row, Column, Phi, Row, Column, 0, HomMat2D)
    
24. *用前面生成的旋转矩阵对图像进行旋转平移，ImageOrig为输入图, Image2为输出图
    
25. * HomMat2D为旋转矩阵句柄, 'constant',为双线性插值方法，其灰度值 是由最邻近的四个像素 决定 。
    
26. *'false'表示 是否自动调节输出图像的大小，false表示不自动 调节。
    
27. affine_trans_image (ImageOrig, Image2, HomMat2D, 'constant', 'false')
    
28. *生成一个空的图形对象
    
29. gen_empty_obj (Chambers)
    
30. *依次遍历每个颗粒，并画出来，同时叠加 到数组中，目的是和前面 的Blister求差，得到胶囊的骨架区域。
    
31. for I := 0 to 4 by 1
    
32.     Row := 88 + I * 70
    
33.     for J := 0 to 2 by 1
    
34.         Column := 163 + J * 150
    
35.         gen_rectangle2 (Rectangle, Row, Column, 0, 64, 30)
    
36.         concat_obj (Chambers, Rectangle, Chambers)
    
37.     endfor
    
38. endfor
    
39. dev_display(Image2)
    
40. dev_display(Chambers)
    
41. stop()
    
42. *进行区域反射变换，Blister, Blister, HomMat2D,分别有输入，输出图像和施加矩阵
    
43. *'nearest_neighbor'为邻近插值方法，速度快但精度不高，目的是将胶囊板区域摆正，和Chamber求差。
    
44. affine_trans_region (Blister, Blister, HomMat2D, 'nearest_neighbor')
    
45. *求差算子，从区域Blister减去 Chambers区域，结果保存在Pattern。
    
46. difference (Blister, Chambers, Pattern)
    
47. *将Chambers的全部区域合并成一个
    
48. union1 (Chambers, ChambersUnion)
    
49. orientation_region (Blister, PhiRef)
    
50. *将负值角度变换为对应的正角度。
    
51. PhiRef := rad(180) + PhiRef
    
52. area_center (Blister, Area2, RowRef, ColumnRef)
    
53. * 开始循环读取6张图片，检测胶囊。
    
54. Count := 6
    
55. for Index := 1 to Count by 1
    
56.     read_image (Image, 'blister/blister_' + Index
    
57. 
    
58. 
    
59. 02')
    
60.     *进行图像二值化处理，选取灰度值在90, 255的像素
    
61.     threshold (Image, Region, 90, 255)
    
62.     *将区域进行分割成为不相连的多个区域；
    
63.     connection (Region, ConnectedRegions)
    
64.     *选择面积在5000, 9999999的全部区域。
    
65.     select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 5000, 9999999)
    
66.     shape_trans (SelectedRegions, RegionTrans, 'convex')
    
67.     *
    
68.     * 将当前图像施加加平移，与前面的参考位置重合。
    
69.     orientation_region (RegionTrans, Phi)
    
70.     area_center (RegionTrans, Area3, Row, Column)
    
71.     vector_angle_to_rigid (Row, Column, Phi, RowRef, ColumnRef, PhiRef, HomMat2D)
    
72.     affine_trans_image (Image, ImageAffineTrans, HomMat2D, 'constant', 'false')
    
73.     *
    
74.     * 提取图像的药物区域
    
75.     reduce_domain (ImageAffineTrans, ChambersUnion, ImageReduced)
    
76.     *将三通道图像ImageReduced，进行拆分；
    
77.     decompose3 (ImageReduced, ImageR, ImageG, ImageB)
    
78.     *对图像 进行局部阈值分割，通过一个掩模的滑动求取局部均值和标准差来确定阈值。
    
79.     *其实就是通过掩膜滑动每次计算对应图的均值 和标准差，把局部灰度相关较大的区域分割开
    
80.     *也就是亮暗区域。ImageB, Region分别为输入图像与输出区域。7，7为掩模宽高，
    
81.     *0.2为标准差因子，2为像素灰度值与与均值间的最小绝对 差值，dark为阈值类型，表示选择
    
82.     *暗的还是亮的。此函数可以用于光照不是很均匀的图像。
    
83.     var_threshold (ImageB, Region, 7, 7, 0.2, 2, 'dark')
    
84.     connection (Region, ConnectedRegions0)
    
85.     *采用结构元素宽高为3的矩形 结构进行闭运算。
    
86.     closing_rectangle1 (ConnectedRegions0, ConnectedRegions, 3, 3)
    
87.     fill_up (ConnectedRegions, RegionFillUp)
    
88.     select_shape (RegionFillUp, SelectedRegions, 'area', 'and', 1000, 99999)
    
89.     *采用结构元素半径为4.5的圆进行开运算。
    
90.     opening_circle (SelectedRegions, RegionOpening, 4.5)
    
91.     connection (RegionOpening, ConnectedRegions)
    
92.     select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 1000, 99999)
    
93.     shape_trans (SelectedRegions, Pills, 'convex')
    
94.     *
    
95.     * 分类结果与显示统计
    
96.     *计算药粒的个数
    
97.     count_obj (Chambers, Number)
    
98.     gen_empty_obj (WrongPill)
    
99.     gen_empty_obj (MissingPill)
    
100.     for I := 1 to Number by 1
     
101.         select_obj (Chambers, Chamber, I)
     
102.         *循环检测每个胶囊腔体位置内是否有胶囊
     
103.         intersection (Chamber, Pills, Pill)
     
104.         area_center (Pill, Area, Row1, Column1)
     
105.         *面积大于0表示有，否则为无。
     
106.         if (Area > 0)
     
107.             *求图像指定区域的最大最小灰度值，Pill, ImageB为输入区域与图像。
     
108.             *第三参数表示低于(高于)最大（最小）绝对值的百分比。0表示 无直方图代入计算。
     
109.             *Min, Max, Range为输出值，表示最小最大灰度值，及它们的差值。
     
110.             min_max_gray (Pill, ImageB, 0, Min, Max, Range)
     
111.             if (Area < 3800 or Min < 60)
     
112.                 *满足此条件记为有缺陷胶囊
     
113.                 concat_obj (WrongPill, Pill, WrongPill)
     
114.             endif
     
115.         else
     
116.             concat_obj (MissingPill, Chamber, MissingPill)
     
117.         endif
     
118.     endfor
     
119.     *
     
120.     dev_clear_window ()
     
121.     dev_display (ImageAffineTrans)
     
122.     dev_set_color ('forest green')
     
123.     count_obj (Pills, NumberP)
     
124.     count_obj (WrongPill, NumberWP)
     
125.     count_obj (MissingPill, NumberMP)
     
126.     dev_display (Pills)
     
127.     if (NumberMP > 0 or NumberWP > 0)
     
128.         disp_message (WindowHandle, 'Not OK', 'window', 12, 12 + 600, 'red', 'true')
     
129.     else
     
130.         disp_message (WindowHandle, 'OK', 'window', 12, 12 + 600, 'forest green', 'true')
     
131.     endif
     
132.     *
     
133.     Message := '# Correct pills: ' + (NumberP - NumberWP)
     
134.     Message[1] := '# Wrong pills  :  ' + NumberWP
     
135.     Message[2] := '# Missing pills:  ' + NumberMP
     
136.     *
     
137.     Colors := gen_tuple_const(3,'black')
     
138.     if (NumberWP > 0)
     
139.         Colors[1] := 'red'
     
140.     endif
     
141.     if (NumberMP > 0)
     
142.         Colors[2] := 'red'
     
143.     endif
     
144.     disp_message (WindowHandle, Message, 'window', 12, 12, Colors, 'true')
     
145.     dev_set_color ('red')
     
146.     dev_display (WrongPill)
     
147.     dev_display (MissingPill)
     
148.     if (Index < Count)
     
149.         disp_continue_message (WindowHandle, 'black', 'true')
     
150.     endif
     
151.     stop ()
     
152. endfor

复制代码