技术分享:近红外高光谱成像技术检测粮仓米象活虫

2023-05-10 14:56:27

 0 引言     

       中国是世界上最大的小麦生产国,库存量高达 0.4 亿 t,由于害虫造成的储粮损失是很大的。粮虫的检测包括粮粒外部害虫和粮粒内部害虫的检测,粮粒外部的成虫不仅直接危害粮食,而且雌虫在粮粒中间产卵,产下的卵和幼虫在几周内不易被肉眼发现,因此外部成虫的检测是非常重要的。中国《粮油储藏技术规范》明确规定,虫粮等级标准中的害虫密度统计的是活虫的数量 。若将死虫误计为活虫,则会造成过度施药和农药残留,影响食物安全并污染环境。而将活虫误判为死虫,不及时防治会造成粮食损失。

       目前的机器视觉检测方法,只能对粮虫进行计数并识别其种类,并不能辨别出粮虫的“死” “活”。即便大部分活虫会四处爬行,但仍有部分粮虫在受惊之后会一动不动表现出“假死”现象,如果仅仅捕捉活动中的粮虫图像,无法克服“假死”问题。 高光谱成像技术已被广泛地应用于谷物质量的评估,如小麦真菌、发芽麦粒、粮虫感染麦粒等检测 。本项研究的目标是探索利用 900~1 700 nm 高光谱成像技术来区分仓储活虫和死虫的可行性,为储粮活虫的近红外计算机视觉实时检测提供依据。具体目标是:1)提取可区分仓储活虫和死虫的最优波长;2)提出最优波长下粮虫活虫和死虫的判别方法,并统计活虫的个数。

1  材料和方法
1.1  样本准备 
       米象成虫的体长 2.4~2.9 mm,宽 0.9~1.5 mm,是仓储小麦中危害最大的害虫之一。米象活虫来源于某大学养虫室,小麦购买于市面上的面粉厂。用水漂洗小麦后,在 80℃的真空烘干箱中烘干 2 h 杀死麦粒内的虫卵和幼虫等。把米象活虫和烘干后的小麦一起放入养虫器皿,并置于 28℃,相对湿度 RH(relative humidity)80%的恒温恒湿培养箱中饲养,5 d 后筛出成虫。经历卵、幼虫、蛹、成虫几个发育阶段后,8 周后大部分米象虫卵变态为成虫。
       从养虫器皿中筛出成虫进行试验,把 140 头米象放入塑料试管中封好,置于液氮(-196℃)中 10 min 低温猝死杀死活虫,然后取出米象并平衡 15 min。杀死后的所有米象样本均放置在 20~22℃,相对湿度 RH55%~60%的高光谱采集室中。对于刚刚杀死的米象,由于其细胞活性没有发生变化,因此可作为活虫的样本(即死后第 0 天)进行分析处理 [15] 。随机选择 56 头米象死虫,平均分为 8 组,以供高光谱图像采集,其中 4 组为训练样本(共 28个),剩下的 4 组为检验样本(共 28 个)。

1.2  高光谱成像系统
        近红外高光谱成像系统主要由光谱成像系统、光源、位移台、暗箱和计算机五部分组成,其总体组成如图1所示 。 成像光谱仪为四川双利合谱科技有限公司的N17E,光谱范围为 900~1 700 nm,每帧图像大小为 320 像素×256 像素。成像光谱仪的分辨率为5 nm,狭缝宽 30 μm。由于粮虫体型太小,为了缩小视场,使粮虫有更高的分辨率,在镜头上加了 2 个接圈后物距为 47 mm。暗箱、位移台、光源等由北京卓立汉光仪器有限公司生产。

          图 1  近红外高光谱成像系统

1.3  图像获取 
       当近红外相机的曝光时间为 3 ms,位移台的移动速度为 0.59 mm/s 时,所获取的图像清晰无失真。另外,需扫描标准白色校正板得到全白的标定图像,关闭相机快门进行图像采集得到全黑的标定图像,对所获得的高光谱图像进行黑白标定,去除图像中的噪声 。近红外高光谱采集软件为SpecView(四川双利合谱科技有限公司)。实际采集到的光谱范围是 871.6~1766.3 nm,平均采样间隔为 3.5 nm。一次扫描一条线,扫描 n 条线后即可得到一个大小为 320×n×256 的高光谱图像数据立方体。 把每一组米象放在塑料白板上,并调整其大致在一条直线上,且互不接触。共分 11 个采样时间进行高光谱图像的采集,具体采样时间为第 0、0.5、1、1.5、2、2.5、3、4、5、6、7 天。另外,在上述每一个采样时间(第 0天除外),按照同样的方法杀死 10 头米象,随机选择 6头新杀死的米象和 6 头米象死虫(从杀死的 140 头米象中选择),放在白板上进行高光谱图像的采集,以供最优特征波长的选择。
1.4  高光谱图像分析
       高光谱图像数据处理基于 ENVI  V.4.8(美国 ITT 视觉信息公司)和 Matlab 10b(美国 MathWorks 公司)软件平台。 为了有效地分析活虫和死虫光谱的区别,首先需要从粮虫图像中提取出能表征活虫和死虫的光谱。针对粮虫边界比较清晰且对比度较大的某个波长(根据前期研究成果,这里取为 1450 nm 波长)的图像,手工选取每个粮虫的多边形感兴趣区,并以该波长中粮虫感兴趣区内的像素,确定数据立方体中粮虫的感兴趣区。每个粮虫光谱定义为数据立方体中该粮虫感兴趣区内所有像素的光谱的平均,每一个采样时间的粮虫光谱定义为每个采样时间内采集到的所有粮虫光谱的平均。通过分析粮虫随死亡天数变化而引起的光谱的变化,可得到粮虫光谱随时间的变化趋势,以及活虫和死虫区分度较大的光谱区间,并可初步确定可区分的最短时间。根据活虫和最短可区分时间的死虫的平均光谱及标准差光谱,可进一步缩小光谱区间 。 
       由于高光谱图像的数据量非常大,因此,在不影响检测效果的基础上,找到最优光谱波长或波长区间是非常必要的。相邻波长指数法为波长的均方差与相邻波长的平均相关系数的比值。它综合考虑了波长的信息含量和相关性两个因素,可作为选择波长的依据,且最优光谱波长为相邻波长指数最大值所对应的波长。

       粮虫死亡后,其整体灰度值随着时间的增加而升高,即在最优波长图像中,活虫的整体灰度值比死虫的小一些,故采用两个不同的阈值(第一个阈值的灰度值比较小,第二个阈值为粮虫分割后形态比较完整的最小阈值)分割时,活虫目标的面积比与死虫相比时要大一些,因此可通过面积比来有效地区分活虫和死虫。由此,这里提出基于双区域连通阈值面积比的区域生长法对粮虫活虫和死虫进行自动判别。上述判别方法的基本思想如下:针对最优波长下的图像,由区域生长法分割粮虫图像为二值图像;这里选择的“种子”为图像中所有灰度值小于等于 T s (灰度阈值)的像素点,并用区域连通阈值来测试图像中的像素是否与“种子”点及其 8-连接像素点相似,若相似则将该像素划分为目标,否则归为背景;采用两个不同的区域连通阈值 T 1 和 T 2 ,将粮虫图像分割为两幅二值图像,其中采用区域连通阈值 T 1 可分割出粮虫虫体中灰度值较小的部分,运用区域连通阈值 T 2 可分割出完整的粮虫;针对分割后的粮虫二值图像,用数学形态学进行滤波,并用区域标记法对二值图像中的区域进行标记,形成标记矩阵;根据标记矩阵计算两幅二值图像中的目标个数和每个目标的面积,当某个目标在两幅二值图像中的面积之比 A 1 /A 2 (其中 A 1 和 A 2 为两幅二值图像中目标的面积)大于 T r (面积比阈值)时,该目标应判别为粮虫活虫;根据不同采样时间的粮虫正确判别率,可最终确定粮虫活虫和死虫能够区分的最短时间。

2  结果与分析
2.1  确定活虫和死虫的光谱 
       米象死后 0~7 d 的平均光谱如图 2 所示,其中第 m天粮虫的光谱为第 m 天采集的 28 个粮虫光谱的平均值,第 0 天的光谱假定为 28 个活虫的平均光谱。由图 2 可见,米象平均相对光谱的反射率在 1300~1700 nm 范围内随
着死亡时间的增加而增加。反射光谱在水分的敏感波长1450 nm 附近有一个明显的吸收峰,活虫和死虫都有一个较低的反射率。这是由于当粮虫死亡后,其异化作用旺盛于活虫,蛋白质、核酸等大分子物质分解为 H2O、CO 2 等并被耗散掉,故体内的含水率必然减少,又因1450 nm 附近的光谱反射率吸收峰为水分的特征吸收峰,因而必然导致对光谱的吸收减少,光谱反射率增加,因此选择 1 450 nm 为手工选取每个粮虫多边形感兴趣区的波长。在 950~1 700 nm 之间粮虫光谱的区分度比较好,在其他区间光谱基本上都有交叉或重叠在一起,在1400~1 700 nm 之间的区分度最大。第 1~2 天粮虫光谱反射率的变化最大,自第 5 天开始,光谱反射率的变化比较小,基本上重叠在一起,表明米象死虫的光谱自第 5天开始和活虫的光谱差别趋于稳定。
                   

      米象的形态结构如图 3 所示,其死后 0~7 d 在1417.2 nm 的近红外光谱图像如图 4 所示。由图 4 可见,米象头部及胸部背板的颜色与鞘翅相比比较暗,灰度值比较小,且头部和胸部背板的灰度变化率比较大。米象的整体灰度随着死亡时间的增加而增大。第 0~3 天,米象灰度的变化率比较大,第 4~7 天灰度的变化率比较小,这与图 2 中光谱随时间的变化趋势是一致的。图 4 中米象图像的阴影比较大,这是由于米象太小,镜头距离粮虫太近,玻璃光纤线性灯距离粮虫较远造成的。若把玻璃光纤线性灯与粮虫的距离再调整稍近一些,可进一步减小米象图像的阴影。若获取的米象图像阴影过大,则不利于后续的图像分割。另外,为了更好地说明粮虫的整体灰度值随着死亡时间的变化趋势,图 4 中以 2.2 节所求出的最优波长(1 417.2 nm)为例进行说明,实际上该变化趋势对粮虫活虫和死虫最短可区分时间的确定仅起辅助验证作用,因此其波长的选取使粮虫图像清晰即可。

       由此可见,米象死亡后,其光谱反射率随着死亡时间的增加而增加,其整体灰度值随着死亡时间的增加而增大,自第 5 天开始光谱反射率不再有明显的变化,因此这里把米象活虫和死虫的最短可区分时间初步确定为死后第 5 天。 图 5 为米象死后第 0 天和第 5 天的平均相对反射光谱及标准差光谱。由图 5 可以看出,第 0 天和第 5 天米象的标准差光谱在 1280 和 1720 nm 处有交叉,表明活虫和死虫的光谱在871.6~1280 nm 和1720~1766.3 nm 之间是不完全可分的,在 1280~1720 nm 之间是明确可分的。为了进一步提高区分度,并压缩高光谱图像的数据,可将光谱的范围取为 1320~1680 nm 之间的 110 个波长。

2.2  特征波长
      要提取粮虫最优光谱波长,实际上是从 1320~1680 nm 之间的 110 个波长中找到相邻波长指数值最大的波长,该波长的均方差比较大,平均相关系数比较小。通过对第 5 天采集的同时含有活虫和死虫的米象高光谱图像进行相邻波长指数分析,得到相邻波长指数的最大值为 41.96,其对应的特征波长为 1417.2 nm。 采用同样方法对 871.6~1 766.3 nm 的 256 个波长进行分析,各波长的相邻波长指数值如图 6 所示。由图 6可见,在 871.6~950 及 1680~1766.3 nm 范围内,由于噪声的影响比较大,相邻波长指数值的分布杂乱无序,故在实际选择最优波长时,应除去这两个波段范围进行分析。可见,得到的最优光谱波长仍然是 1417.2 nm,表明相邻波长指数法提取光谱最优波长的稳定性,同时也说明上述压缩光谱区间方法的有效性。

2.3  图像分析结果
       由图 4 可知,米象的头部及胸部背板的颜色与鞘翅相比比较暗,因此用区域生长法进行分析时,应该选取米象的头部及胸部背板的部分像素作为“种子”点。对最优波长下所有训练样本图像进行分析,结果表明:当灰度阈值 T s=30,区域连通阈值 T 1 =40 时,二值图像中粮虫分割比较完整的区域连通阈值 T 2 为 70,此时活虫目标的面积比阈值 T r 均大于 0.5。 图 7a 为 7 头米象死后 1.5 d 的 1417.2 nm 灰度的图像,利用上述参数进行区域生长法处理,生成的目标二值图像如图 7b 和 c 所示,由图可见,第 1.5 天的 7 头米象中有 4 个目标被分割出来。图 7b 中 4 个目标的面积自左到右依次为 480、572、189 和 447,图 7c 中 4 个对应目标的面积分别为 718、935、636 和 647,则其面积比分别为 0.6685、0.6118、0.2972 和 0.6909,有 3 个大于 0.5,因此这 3 个目标应判别为活虫。可见,图 7 中的 7 头米象死虫有 3 头粮虫被误归为活虫,即没有被正确地分类,只有 4 头死虫被正确地判别,表明当米象死后 1.5 天时,其活虫和死虫是不完全可分的。

        用上述检测方法对 11 个采样时间所采集的所有训练样本和检验样本的图像进行了处理,样本的正确识别率如表 1 所示。由表 1 训练样本的识别率可见,第 0 天的粮虫活虫全部被正确识别;粮虫死后第 0.5、1.0、1.5 天时,部分死虫被误识别为活虫,且死虫的识别正确率随着米象死亡时间的增加而增加;自第 2.0 天开始,粮虫死虫全部被正确识别,则粮虫死后第 2.0 天为活虫和死虫完全可分的最短时间。这是由于随着粮虫死亡时间的增加,其体内的组分含量与活虫相比变化增大,导致其光谱反射率增加,使近红外特征波长中粮虫图像的整体灰度值增大,因而增大了活虫和死虫的区分度,提高了识别的正确率。

       由表 1 检验样本的识别率可见,在粮虫死后的第 0.5、1.0 和 1.5 天,死虫和活虫不能被完全正确地区分,粮虫活虫和死亡 2.0 d 及之后粮虫的识别正确率均为 100%。由此可见,该法对活虫和死亡 2.0 d 之后的粮虫能够可靠地鉴别死活。
3  结  论
       随着粮虫死亡时间的延长,粮虫相对光谱反射率逐渐提高,粮虫图像灰度值逐渐增大,到死后第 5 天时粮虫的光谱曲线基本趋于稳定。通过分析粮虫死后第 0 天和第 5 天的平均相对反射光谱及标准差光谱,可将有效光谱的范围取为 1320~1680 nm 之间的 110 个波长。应用相邻波长指数法对第 5 天采集的同时含有活虫和死虫的米象高光谱图像进行分析 , 提取的最优波长为1417.2 nm。应用双区域连通阈值面积比的区域生长法判别粮虫,当粮虫的双区域连通阈值面积比大于 0.5 时,应判别为活虫。在粮虫死亡后的第 2.0 天开始,粮虫活虫与死虫完全可分,正确识别率达到 100%。
       研究结果表明,利用近红外高光谱成像技术可对储粮活虫和死虫进行有效的鉴别,首次实现了储粮活虫的自动判别。为了降低储粮活虫检测系统的成本,并提高检测的效率,下一步的工作是利用本研究得到的最优光谱波长及死活虫的自动判别方法,构建具有滤光片(中心波长为 1 417.2 nm)的近红外计算机视觉系统,以实现粮仓中常见储粮活虫的自动判别及其实时分类,为储粮害虫的综合防治提供科学的决策依据。



长按识别二维码,加入微信交流群,畅谈遥感应用新知识,该文已发表在《农业工程学报》!


友情链接

Copyright © 2023 All Rights Reserved 版权所有 福建水产设备联盟