基于多视角信息融合的棒材识别计数方法

第３４卷　第３期　计算机工程　．２００８年２月　３　Ｎｏ．３　Ｃｏｍｐｕｔｅｒ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｆｅｂｒｕａｒｙ　２００８　・人工智能及识别技术・　文章缡号。１ｏｏｏ＿３４２８（２ｏ０８）ｏ　＿＿ｏ２３１—　３　文献标识码。Ａ　中圈分类号。ＴＰ３９１　基于多视角信息融合的棒材识别计数方法　罗三定。黄江蜂。李勇　（中南大学信息科学与工程学院，长沙４１００８３）　摘要：棒材出厂前要按根数打捆，基于单视角视觉识别计数方法难以处理多个目标之间的互遮挡等问题。文章提出多视角信息融合方法，　从２个视角分别捕获目标图像，分别识别，再进行融合，对单视角目标识别信息的补偿与纠错，达到消除互遮挡、准确计数的目的。实践　证明，该方法能很好地解决单视角的遮挡目标识别问题，对于因存在遮挡和光照条件而难以处理的多目标识别和跟踪问题具有一定的　普适性。　关健诃：目标识别；多视角；信息融合；遮挡目标；棒材计数　Ｍｅｔｈｏｄ　ｆｏｒ　Ｓｔｅｅｌ　Ｂａｒｓ　Ｒｅｃｏｇｎｉｚｉｎｇ　ａｎｄ　Ｃｏｕｎｔｉｎｇ　Ｂａｓｅｄ　ｏｎ　Ｍｕｌｔｉ．ｃａｍｅｒａ　Ｖｉｓｉｏｎ　Ｆｕｓｉｏｎ　ＬＵＯ　Ｓａｎ－ｄｉｎｇ，ＨＵＡＮＧ　Ｊｉａｎｇ・ｆｅｎｇ，ＬＩ　Ｙｏｎｇ　（Ｓｃｈｏｏｌ　ｏｆ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｃｅｎｔｒａｌ　Ｓｏｕｔｈ　Ｕｎｉｖｅｒｓｉｔｙ，Ｃｈａｎｇｓｈａ　４１００８３）　ＩＡｂｓｔｒａｃｔ］Ｓｔｅｅｌ　ｂａｒｓ　ｎｅｅｄ　ｔｏ　ｂｅ　ｐａｃｋｅｄ　ａｃｃｏｒｄｉｎｇ　ｔＯ　ａ　ｓｔａｎｄａｒｄ　ａｍｏｕｎｔ．Ｉｔ　ｉｓ　ｄｉｉｆｃｕｌｔ　ｆｏｒ　ｈｔｅ　ｃｏｕｎｔｉｎｇ　ｍｅｔｈｏｄ　ｏｆ　ｓｉｎｇｌｅ　ｃａｍｅｒａ　ｏｂｊｅｃｔ　ｒｅｃｏｇｎｉｚｉｎｇ　ｔＯ　ｈａｎｄｌｅ　ｐｒｏｂｌｅｍｓ　ｌｉｋｅ　ｔａｒｇｅｔ—ｈｉｄｉｎｇ．Ｔｈｉｓ　ｐａｐｅｒ　ｐｒｏｐｏｓｅｓ　ａ　ｎｅｗ　ｍｅｔｈｏｄ　ｏｆ　ｍｕｌｉｔ—ｃａｍｅｒａ　ｄａｔａ　ｆｕｓｉｏｎ　ｔＯ　ｓｏｌｖｅ　ｈｔｉｓ　ｐｒｏｂｌｅｍ，ｃａｐｔｕｒｉｎｇ　ｔｒａｇｅｔ　ｉｍａｇｅｓ　ｆｒｏｍ　ｔＷＯ　ｃａｍｅｒａｓ　ａｎｄ　ｒｅｃｏｇｎｉｚｉｎｇ　ｔｈｅｍ　ｒｅｓｐｅｃｔｉｖｅｌｙ，ｔｈｅｎ　ｆｕｓｉｎｇ　ｔｈｅ　ｒｅｃｏｇｎｉｚｉｎｇ　ｒｅｓｕｌｔｓ．Ｔｈｉｓ　ｉｓ　ｔＯ　ｃｏｍｐｅｎｓａｔｅ　ａｎｄ　ＣＯＩＴＣＣｔ　ｔｈｅ　ｓｉｎｇｌｅ　ｃａｍｅｒａ　ｒｅｃｏｇｎｉｚｉｎｇ　ｅｒｓｕｌｔ　ｎａｄ　ｍｅｅｔ　ｔｈｅ　ｇｏａｌ　ｏｆ　ｅｌｉｍｉｎａｔｉｎｇ　ｈｉｄｉｎｇ　ｐｒｏｂｌｅｍ．Ｅｘｐｅｒｉｍｅｎｔｓ　ｓｈｏｗ　ｔｈａｔ　ｔｈｉｓ　ｍｅｔｈｏｄ　ｃａｎ　ｓｏｌｖｅ　ｔａｒｇｅｔ—ｈｉｄｉｎｇ　ｐｒｏｂｌｅｍ　ｗｅｌｌ，ａｎｄ　Ｃａｎ　ｅｂ　ａｐｐｌｉｅｄ　ｔｏ　ｍｕｌｔｉ—ｔａｒｇｅｔ　ｒｅｃｏｇｎｉｚｉｎｇ　ｎａｄ　ｔｒａｃｋｉｎｇ　ｐｒｏｂｌｅｍ　ｃａｕｓｅｄ　ｂｙ　ｏｃｃｌｕｓｉｏｎ　ａｎｄ　ｌｉｇｈｔ　ｌｉｍｉｔａｔｉｏｎ．　ＩＫｅｙ　ｗｏｒｄｓ］ｏｂｊｅｃｔ　ｒｅｃｏｇｎｉｚｉｎｇ；ｍｕｌｔｉ—ｃａｍｅｒａ；ｉｎｆｏｒｍａｔｉｏｎ　ｆｕｓｉｏｎ；ｈｉｄｉｎｇ　ｔｒａｇｅｔｓ；ｓｔｅｅｌ　ｂａｒｓ　ｃｏｕｎｔｉｎｇ　ｌ概述　双视角识别方案，从链床顶部安装一台摄像头，从顶部拍摄　工业生产线上经常要对产品进行计数，轧钢厂的棒材（也　棒材侧面图像识别棒材，然后将顶端视角和前端视角识别结　叫钢筋）计数就是典型一例。文献【１—２Ｊ采用类圆形干杯、聚类　果进行融合，从而达到准确识别。如图２所示。　算法，从端面棒材图像获得棒材中心信息，以确定棒材支数，　用单视角的多目标识别方法较好地解决了棒材自动计数问　题。长期的生产实践证明，该方法对摆放整齐、棒材端面都　很亮的棒材具有很高的识别准确率，但是在一些特殊的情况　下，比如在棒材因倾斜摆放而相互遮挡和棒材冷却不够在剪　链床　切时端面因氧化过暗等情况下，仅从端面图像来识别棒材可　圈２双且槐竟棒材识别示意圈　能会漏识别。如图１所示，其中，（１）为透视图，（２）为前视图，　（３）为识别结果。　双视角棒材识别包括以下３个步骤：（Ｉ）端面视角棒材识　别；（２）顶部视角棒材识别；（３）双视角识别结果信息融合。步　骤（Ｉ）文献【２Ｊ已实现，这里只讨论步骤（２）和步骤（３）。　２顶端视角棒材识别　顶部视角拍摄的棒材侧面图像中，端面处角点特征明显　（如图３所示），据此采用基于Ｈａｒｒｉｓ角点检测的方法来识别　棒材。　圈１相互麓挡及瞎棒材示意图　左边第２根和第３根棒因倾斜摆放造成第２根被第３根　遮挡而不能被识别，右边第２根因氧化端面变黑成为暗棒材，　Ｉ。Ｉ　其端面与侧面亮度差异小，边缘弱，也无法用类圆形算法识　别。这２根棒材仅靠前端视角拍摄的端面图像难以识别。　圈３璜部槐角棒材示意圈　为准确计数，考虑采用多视角目标识别信息融合的策略。　作者简介：罗三定（１９５５一），男，教授，主研方向：图像处理，智能　融合不同视角目标识别结果，实现对单视角目标识别信息的　信息处理；黄江峰、李勇，硕士研究生　补偿与纠错，达到准确计数的目的。考虑到现场实际，采用　收稿日期：２００７—０３—２５　Ｅ・ｍａｉｌ：ｋｉｍ＿ｈｊｆ＠ｙａｈｏｏ．ｃｏｍ．ｅｎ　一２３Ｉ一　维普资讯 http://www.cqvip.com ２．１快速噪声滤波　由于棒材本身的毛刺和现场的噪声，如直接对原图像进　行Ｈａｒｒｉｓ算子角点检测，将在侧面和噪声处产生许多角点，　影响识别，因此处理前需对图像进行平滑滤波。实时系统常　用的平滑滤波有线性平滑滤波、统计排序滤波速度等。文献　【３—４】分别研究了快速中值滤波和直方图加权均值滤波方法。　但都存在平滑程度不够和计算时间较长的弱点。本文提出一　种平滑度可调的序贯快速滤波算法，基本计算式如下：　ｆ／（Ｐｃ　）《一　，（ｐ　）＋（１一　），＿（　）　…　Ｉ　Ｊｆ，　ｐ　ｌ　其中，ｐ　和ｐ　指当前点和上一点的位置；ｆ（ｐ　）和　＿厂（ｐ　Ｊ分别为当前点和上一点的灰度值；　是平滑度控制因　子。Ｐ。　Ｐ　表示每次迭代后点的位置更新，迭代方向可　依水平方向自左向右后再自右向左，依垂直方向向上、向下　进行。该算法简单地通过４个方向扫描便可完成平滑滤波。　考虑到水平与垂直方向不同强度，还可分别用　和　进行平　滑。双向加权序贯平滑算法相当于一种散焦模糊操作，起到　近似的高斯模糊效果。　通过实验得到各种不同ａ取值时的平滑滤波效果如图４　所示。ａ为０．６平滑滤噪效果比４次３ｘ３平均滤波好（图５），　且在文字笔画交会处不会出现明显的灰度失真。采用高速的　加权序贯平滑算法不仅平滑强度可调，且具有速度快与滤波　效果好的优点。　Ｉ｜　ｎ　．５　ｔ　ａ＿－ｏ６　Ｉ¨　。　誉　圈４孤立点在不同值的散焦情况（反演）　豳圈一　（ａ）含噪声图像　（ｂ）４次３ｘ３平均　（ｃ　＝（）．６　圈５平滑滤波效果比较　２．２　Ｈａｒｒｉｓ角点检测　Ｈａｒｒｉｓ算子是Ｃ．Ｈａｒｒｉｓ和Ｍ．Ｓｔｅｐ　ｈｅｎｓＩ５１提出的一种基　于信号的点特征提取算子。Ｈａｒｉｓ角点算法首先计算图像　ｌ（ｘ　）在每一点的Ｈｅｓｓｉａｎ矩阵：　｛　型一ｌ　　塑Ｉｌｄ　　：｛ｉ掣１。　　出ｌ　一　『ｌ　（２）　当矩阵　的２个特征值都比较大时，表明无论从任何方　向跨越这一像素点都会引起灰度值的剧烈变化，因而可以将　它作为角点输出。图６为角点检测结果，经极小值抑制，保　留输出响应值大于阈值ｆ＝０．６１的角点，检测结果如图７所示。　警　圈６角点检　的结果（白点表示检　出的角点）　２３２一　一砸　圈７角点检　的结果（极小值抑制）　２．３棒材中心确定　角点检测出来后，要用角点信息确定棒材。令Ｈ，（　Ｙｉ）表　示在坐标（　，ｙ）处的角点，其值为Ｈａｒｒｉｓ算子角点检测输出值，　角点ｉ和，的距离为：　＝、／（‘一　）　＋（　一Ｙ　）　，将距离在棒　材直径邻域内且垂直距离小于一定值的角点合并成棒材点，　合并公式如下：　幻ｒ（“，ｖ）：Ｈ　＋１４　，ｄｏ￣［ｏｔＤ，芦Ｄ１，　—Ｙ，Ｉ＜　（３）　其中，Ｄ为棒材的直径；研　为范围系数，通常取　忙Ｏ．８，　１．２；　为竖值方向距离最大值，通常取　：０．４Ｄ；　ｂａｒ的值为评价该点是棒材的指标，下面将会用该值来计算　棒材的置信度。棒材位置由以下公式确定：　“＝—Ｈ—　—＋土Ｈ１一．　Ｘ　＋　＋—Ｈ—　—＋　Ｈ｜一，Ｘｉ　，，ｖ＝，ｖ＝盎　—Ｈ—　—＋　Ｈ｜一ｖ　．＋—Ｈ—　—＋　Ｈｌ一ｖ…。ｉ．　（　４一，　Ｊ　经确定后识别的棒材如图８所示。可以看出，端面无法　识别的被遮挡棒材（左第２根）和暗棒材（右第１根）在顶部视角　被很好地识别出来。同时，顶部视角没能识别出端面视角可　以识别的层叠棒材（左第５根）。采用以顶端识别结果与前端　识别结果信息融合的策略，实现对单视角目标识别信息的补　偿与纠错，可达到准确计数的目的。　Ｉ　一明　圈８顶靖视角棒材识剐结果　３信息融合　３．１信息的归一化　在融合前先要将上下两视角识别结果信息归一化为棒材　的置信度，用概率表示，可将不同指标的识别结果相互融合。　设定２个阂值ｔ　和　．　，设ｂａｒ（ｕ，ｖ）为在（“，ｖ）位置棒材的识　别指标，Ｐ为该点是棒材的概率。以顶部识别结果为例，归　一方法如下：　ｆ　ｌ，ｂａｒ＇￣Ｐ（　，）＞，　华，　ｒ　吖　）∈ｆ　１０ｐ　］　ｆｌ　ｏｂ　ａｒ￣￣Ｐ（ｕ，～　ｖ）＜ｔＺ　（５），令Ｐ　｛ｐ　，ｐ　，…，ｐ　）为顶部识别的棒材集合，　Ｐ　：｛　ｉｄｅ　ｐ　ｉｄｅ，…，Ｊｆ，　）为端部识别的候选棒材集合。Ｐ　和　Ｐ　都是用概率表示，量纲一致，能相互融合。　３．２棒材对位　信息融合还要考虑信息对位，即顶部识别的棒材与端部　哪根棒材对位。对位法则如下：　法则１在集合Ｐ　与集合Ｐ　中查找水平距离小于直径　的点建立匹配对（ｐ　，ｐ　），ｌｆｌｆ一“，』＜Ｄ。若ｐ　（ｐｓ，　。）在　ｐ　（ｐ　）只有一个匹配点，则建立对位关系；否则用以下　法则处理。　法则２若ｐ　在Ｐ　有多个匹配点，取垂直方向值大的　维普资讯 http://www.cqvip.com

点匹配。　很大，不管另一视角识别概率多少，融合后的概率都很大。　融合公式满足信息融合要求。　法则３若ｐ　在Ｐ砷有多个匹配点，取水平坐标最靠近　中线的点建立对位关系。这是因为摄像头的视角在中线位置，　端面视角中被遮挡的是远离中线的棒材（如图９所示），只有　靠近中线的棒材才在端面被识别留下来对位。如图１Ｏ所示，　端面识别点ｐ２　与顶部识别点Ｐ２　和Ｐ３　的水平距离都小　于直径，Ｐ３　比ｐ２　靠近中线而没被遮挡，Ｐ２　出对应的棒材　应为Ｐ３　，故Ｐ２　ｄｅ与Ｐ３　对位。　图１１信息融合图　４实验结果　图１０是２个视角信息融合的识别计数结果。子图（１）和（２）　图９棒材检测视线图　分别为从端面和顶部拍摄的原始图像，子图（３）和（４）分别为这　２个视角的识别结果，子图ｆ５）为融合后的识别结果。从图可　以看出，端面视角无法识别的被遮挡棒材（左第２根）和暗棒　材ｆ右第２根）在顶部视角被很好地识别出来；而顶部视角无　法识别的层叠棒材（左第５根）在端面视角被很好识别。用信　息融合的方法将２个视角识别结果融合起来得到了准确的识　别结果。　５结束语　本文针对单目视觉从前端无法识别被遮挡及暗棒材的问　题，提出了用多目视觉识别，将识别结果融合得到正确识别　结果的方法。实验证明，对不同视角目标识别结果的融合，　实现对单视角目标识别信息的补偿与纠错，达到了准确计数　的目的。该方法主要为解决在线棒材计数中存在严重自遮挡　图１０双视角信息融合棒材识尉结果　现象而提出，但其方法和原理对于因存在遮挡和光照条件限　制而难以处理的多目标识别和计数问题具有一定的普适性。　法则４　Ｐ　和　中没被匹配上的点，在Ｐ　和户　中　插入置信度为０的的点与之匹配。　参考文献　［１］罗三定，沙　莎，沈德耀，等．棒材生产在线视觉计数系统研　３．３信息融合法则　信息融合的目的是要将在某视角不能识别而在另一视角　能识别的棒材在信息融合后确定该根棒材，据此，信息融合　要求如下：　（１）融合后的概率Ｐ不小于融合前对应的Ｐ　Ｐ和Ｐ　值。　（２）ｐ　。　）一定时，Ｐ随ｐ　）线性变化。　（６）　究［Ｊｌ＿小型微型计算机系统，２００４，２５（４）：６７１—６７５．　［２］罗三定，肖　飞．不规则类圆形团块目标图像识别的新方法［Ｊｌ　＿中南大学学报：自然科学版，２００４，３５（４）：６３３—６３７．　［３］张丽，陈志强，高文焕．均值加速的快速中值滤波算法［Ｊｌ＿清　华大学学报：自然科学版，２００４，４４（９）：１　１５７—１　１５９．　［４］杨群生，黄继武，康显桂．直方图加权均值滤波器［Ｊｌ＿电子学报，　２００４，３２（７）：１】０８—１１１１．　根据要求，融合公式如下：　Ｐ＝Ｐ　ｄｅ十Ｐ　。ｐ—Ｐ　ｄｅ×Ｐ　ｏｐ　融合结果如图１１所示。　【５】Ｈａｒｒｉｓ　Ｃ，Ｓｔｅｐｈｅｎｓ　Ｍ．Ａ　Ｃｏｍｂｉｎｅｄ　Ｃｏｍｅｒ　ａｎｄ　Ｅｄｇｅ　Ｄｅｔｅｃ—　ｔｏｒ［Ｃ］／／Ｐｒｏｃ．ｏｆ　ｔｈｅ　４ｔｈ　Ａｌｖｅｙ　Ｖｉｓｉｏｎ　Ｃｏｎｆｅｒｅｎｃｅ．Ｍａｎｃｈｅｓｔｅｒ：　『Ｓ．ｎ．１，１９８８：１４７—１５１．　…………………………………………～～　如图１１可知，当某视角识别的概率一定，融合后的概率　随另一视角识别的概率呈线性变化；且当某视角的识别概率　……………………………………………（上接第２３０页）　参考文献　【１】Ｖｅｒｄｕ　Ｓ．Ｍｉｎｉｍｕｍ　Ｐｒｏｂａｂｉｌｉｔｙ　ｏｆ　Ｅｒｒｏｒ　ｆｏｒ　Ａｓｙｎｃｈｒｏｎｏｕｓ　Ｇａｕｓｓｉａｎ　Ｍｕｌｔｉｐｌｅ—Ａｃｃｅｓｓ　Ｃｈａｎｎｅｌｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ．ｏｎ　Ｉｎｆｏ　Ｔｈｅｏｒｙ，１９８６，　３２（１）：８５—９６．　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ，１９９６，７（１）：１３１—１４１．　［４］赵莹，郑君里．采用粒子集群算法的ＤＳ—ＣＤＭＡ多用户检测［Ｊ］　清华大学学报，２００４，４４（６）：８４０—８４２．　［５］ＤｅＣａｓｔｒｏＬＮ，ＶｏｎＺｕｂｅｎＦ　Ｊ．ＴｈｅＣｌｏｎａｌ　ＳｅｌｅｃｔｉｏｎＡｌｇｏｒｉｈｍｗｉｔｈ　ｔ【２］Ｅｒｇｕｎ　Ｃ，Ｈａｃｉｏｇｌｕ　Ｋ．Ｍｕｌｔｉｕｓｅｒ　Ｄｅｔｅｃｔｉｏｎ　Ｕｓｉｎｇ　Ａ　Ｇｅｎｅｔｉｃ　Ａｌｇｏｒｉｔｈｍ　ｉｎ　ＣＤＭＡ　Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ　Ｓｙｓｔｅｍｓ［Ｊ］．ＩＥＥＥ　Ｔｒａｎｓ．ｏｎ　Ｃｏｍｍｕｎ，２０００，４８（８）：１３７４—１３８３．　Ｅｎｇｉｎｅｅｒｉｎｇ　Ａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］／／Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ａｒｔｉｆｉｃｉａｌ　Ｉｍｍｕｎｅ　Ｓｙｓｔｅｍｓ　ａｎｄ　Ｔｈｅｉｒ　Ａｐｐｌｉｃａｔｉｏｎｓ．Ｌａｓ　Ｖｅｇａｓ，ＵＳＡ：［Ｓ．ｎ．］，　２００Ｏ：３６—３７．　【３１　Ｋｅｃｈｒｉｏｔｉｓ　Ｇ　Ｉ，Ｍａｎｏｌａｋｏｓ　Ｅ　Ｓ．Ｈｏｐｆｉｅｌｄ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　Ｉｍｐｌｅｍｅｎｔａｔｉｏｎ　ｏｆ　ｈｅ　Ｏｐｔｔｉｍａｌ　ＣＤＭＡ　Ｍｕｌｔｉｕｓｅｒ　Ｄｅｔｅｃｔｏｒ［Ｊ］．ＩＥＥＥ　［６】王永刚，焦李成．基于随机Ｈｏｐｆｉｅｌｄ神经网络的最优多用户检测　器［Ｊｌ＿电子学报，２００４，３２（１０）：１６３０—１６３４．　２３３—