一种基于高层语义与噪声抑制的烟雾语义分割方法及系统与流程

文档序号:26645702发布日期:2021-09-15 03:08
一种基于高层语义与噪声抑制的烟雾语义分割方法及系统与流程

1.本发明涉及机器视觉及深度学习技术领域,特别涉及一种基于高层语义与噪声抑制的烟雾语义分割方法及系统。


背景技术:

2.在各种灾害中,火灾是最频繁、最普遍的威胁公众安全和社会发展的主要灾害之一,不仅严重威胁着人们的生命财产安全,而且大规模的火灾会严重破坏生态平衡。及时而准确地发现火灾,能够为救援人员争取宝贵的扑救时间,减轻火灾的危害。由于烟雾可以提供比火焰更早的线索,基于烟雾的火灾探测可以更有效地减少火灾造成的损失,因此,许多研究人员致力于烟雾检测的研究。
3.语义分割在烟雾检测中被广泛使用,传统的烟雾语义分割需手工设计特征来进行检测。但是,由于不同场景下烟雾的外观差异大,手工设计特征非常复杂、繁琐,并且在天气和光线变化的情况下,手工设计的特征非常不稳定。最近,基于深度学习的方法在烟雾语义分割中取得了显著成果。然而,现有方法无法有效捕获具有强表示能力的高层语义信息,导致部分光线不明显或背景与烟雾类似的场景分割效果较差。渐进式地融合底层特征能够大幅度提升烟雾语义分割空间细节信息的恢复。简单的特征融合会进一步引入附加噪声,通过为融合特征的每个位置产生可学习的权重可以有效抑制附加噪声的影响。另外,底层特征由于只能关注到局部空间,从而会有大量的噪声影响烟雾边缘分割结果。高层语义信息具有全局感知能力,能够有效抑制噪声的干扰。值得说明的是,通过高层语义信息还能够纠正底层烟雾特征的偏移,从而进一步优化烟雾语义分割结果。基于这些思想,本发明引入了基于图像金字塔的高层语义信息增强模块,构建了基于高层上下文信息的全局语义注意力模块,基于多头注意力机制设计了一种高效的特征融合模块,最后引入通道注意力机制改善了解码特征内部差异,提升了烟雾语义分割性能。


技术实现要素:

4.本发明的目的在于克服现有烟雾语义分割方法存在的技术缺陷,提出了基于高层语义与噪声抑制的烟雾语义分割方法,该方法能够有效纠正底层烟雾特征偏移并抑制底层特征中的噪声,此外,对于解码过程中引入的附加噪声也能起到良好的抑制作用。基于该方法,能够得到较好的烟雾语义分割结果,实现精准的烟雾定位。
5.为了实现上述目的,本发明提出了一种基于高层语义与噪声抑制的烟雾语义分割方法;所述方法包括:
6.步骤1)数据预处理,将训练集按预设数量进行随机分组;
7.步骤2)随机读取一组图片,由具有n层结构的编码器对输入图像进行多层次特征提取,得到分别包含空间细节信息和全局抽象语义信息的多尺度特征f
i
,i∈[1,n];
[0008]
步骤3)将步骤2)编码器中最后一层高层语义特征f
n
输入至语义特征金字塔模块进行处理,捕获多尺度语义信息,增强高层语义特征的全局上下文信息表示能力,该多尺度
语义信息可以表示为f

n

[0009]
步骤4)将基于多尺度高层语义信息f

n
构建全局注意力机制并将其作用于编码器各个阶段的输出f
i
,i∈[1,n

1];所述全局注意力机制将高层语义信息f

n
与不同层次编码特征f
i
进行融合得到交叉语义信息并通过多头注意力机制实现特征重构;所述全局注意力机制能够有效缓解烟雾特征偏移并抑制底层特征中包含的噪声。
[0010]
步骤5)将基于多头注意力机制构建高效的特征融合模块;所述特征融合模块首先将解码器第i层解码后的输出f
id
(i∈[1,n

1])进行2倍上采样得到特征f
id'
并与步骤4输出的交叉语义特征进行融合,渐进式地聚合多尺度高级上下文信息和底层空间细节信息,然后通过多头注意力重构得到噪声经大幅度抑制的融合特征最后由通道注意力模块对进行处理,增强特征的内部相关性,得到解码器第i+1层的输出特征图
[0011]
其中,第一层解码器的输入为步骤3)得到的多尺度高层语义信息f

n
,并直接经由双线性插值和通道注意力模块处理得到输出f
1d

[0012]
步骤6)对所述解码器最后一层的输出f
nd
进行上采样,得到与原始输入图像相同分辨率的输出特征;
[0013]
步骤7)对输出特征进行特征映射并采用交叉熵计算预测结果与真实值之间的损失,并采用梯度下降法对模型中的参数进行更新;反复迭代,直至训练出最优参数组合;
[0014]
步骤8)基于最优参数模型实现烟雾语义分割。在上述技术方案的基础上,所述步骤1)具体包括:
[0015]
步骤1

1)采用双线性插值的方法对输入图片进行裁剪,使得其满足模型输入所需大小224
×
224
×
3;
[0016]
步骤1

2)将所有图片按每组16张进行随机划分成n个组。
[0017]
在上述技术方案的基础上,所述语义特征金字塔模块包括4个分支,第一分支为卷积核大小为1*1,膨胀率为0的空洞卷积层;第二分支为卷积核大小为3*3,膨胀率为3的空洞卷积层;第三分支为卷积核大小为3*3,膨胀率为5的空洞卷积层;第四分支为卷积核大小为3*3,膨胀率为7的空洞卷积层;
[0018]
所述步骤3)具体包括:
[0019]
步骤3

1)将编码器最后一层输出的层级语义特征f
n
分别经过语义特征金字塔模块的4个分支进行运算,得到对应的4组特征图;
[0020]
步骤3

2)将所述4组特征图进行级联,得到多尺度特征f

n
,计算公式如下:
[0021]
f

n
=concat[dc0(f
n
),dc3(f
n
),dc5(f
n
),dc7(f
n
)]
[0022]
其中,dc
r
表示膨胀率为r的空洞卷积函数。
[0023]
在上述技术方案的基础上,所述步骤4)具体包括:
[0024]
步骤4

1)将编码器第i层输出特征f
i
经过第一卷积层处理得到同时将所述多尺度高层语义特征f

n
经过第二卷积层处理后,再进行上采样,得到
[0025]
其中,通过双线性插值运算实现上采样,计算过程如下:
[0026]
f(x,y)=p(x,y)/((x2‑
x1)*(y2‑
y1))
[0027]
p(x,y)=f(q
11
)*t(x2,y2)

f(q
21
)*t(x1,y2)

f(q
12
)*t(x2,y1)+f(q
22
)*t(x1,y1)
[0028]
t(x
i
,y
i
)=(x
i

x)*(y
i

y),i,j∈{1,2}
[0029]
其中x
i
,y
i
代表与像素(x,y)相邻的像素位置,f(q
ij
)=f(x
i
,y
j
);
[0030]
步骤4

2)将所述与进行级联后,经第三卷积层处理得到交叉语义特征f
icc

[0031]
步骤4

3)将所述f
icc
经多头注意力机制运算,得到包含烟雾特征优化和噪声抑制在内的重构矩阵w;
[0032]
其中,多头注意力机制的计算过程如下:
[0033]
mha(q,k,v)=c(head1,head2,...,head
n
)w
[0034]
head
i
=attn(qw
iq
,kw
ik
,vw
iv
)
[0035][0036]
其中,head
i
代表多头注意力的第i个头,qw
iq
,kw
ik
,vw
iv
分别代表q、k、v对应的权重矩阵,表示比例因子,q,k,v=f
icc

[0037]
步骤4

4)由f
icc
与重构矩阵w,计算得到第i层经由优化后的输出计算过程如下:
[0038][0039]
另外,所述第一卷积层、第二卷积层及第三卷积层均包括256个大小为1*1卷积核。
[0040]
在上述技术方案的基础上,所述步骤5)具体包括:
[0041]
步骤5

1)编码器第n层的层级语义特征f
n
经所述通道注意力模块处理后得到作为解码器第一层的输入;
[0042]
步骤5

2)将经解码器第一层解码后的输出f
1d
与步骤4)得到的特征经由特征融合模块处理,得到多尺度融合特征然后经多头注意力机制处理得到重构矩阵,实现噪声抑制,最后由通道注意力模块对进行处理,得到特征作为解码器第二层的输入;
[0043]
步骤5

3)将解码器第i层得到的作为解码器第i+1层的输入,后续执行与步骤5

2)相同的计算,直至得到解码器第n层解码后的输出
[0044]
在上述技术方案的基础上,步骤5)中特征融合模块处理过程包括:
[0045]
将解码器第i层解码后的输出f
id
进行上采样后与编码器第n

i层对应的经全局语义注意力模块处理后的特征进行级联,得到多尺度融合特征f
i
';
[0046]
将f
i
'输入至多头注意力模块为多尺度融合特征每个位置产生可学习的权重,得到自适应重构矩阵w
i
,通过自适应重构矩阵w
i
的重构作用抑制特征融合过程引入的附加噪声,即由f
i
'与w
i
进行按位置相乘计算得到特征计算公式如下:
[0047][0048]
在上述技术方案的基础上,所述步骤5)中的通道注意力模块处理过程包括:
[0049]
由全局平均池化层将特征压缩为具有全局语义信息的向量v
c

[0050]
将v
c
经过一个全连接层之后采用sigmoid函数进行激活,之后经过1个一维卷积层并采用relu函数进行激活;
[0051]
将relu函数进行激活后的输出,经过softmax函数进行通道向量归一化,得到权重矩阵a;
[0052]
由a和计算得到特征图
[0053]
计算公式如下:
[0054]
a=softmax(σ(conv1d(δ(h1(v
c
,w1)),w2)))
[0055][0056]
其中,w
i
指通道注意模块的权重,σ表示relu函数,δ表示sigmoid函数,h表示全连接层,conv1d表示1维卷积层。
[0057]
在上述技术方案的基础上,所述特征映射包括1个3
×
3卷积层和1个sigmoid函数;所述3
×
3卷积层实现解码特征向烟雾语义分割输出结果的特征映射;采用sigmoid归一化函数进行归一化处理,得到图像的像素级分类结果,表示为:
[0058][0059]
其中,i表示第i个得分值,∑
j
e
j
表示所有特征值的总和;选取概率最大值对应的类别作为像素级烟雾检测的判别结果。
[0060]
在上述技术方案的基础上,所述步骤7)具体包括:
[0061]
步骤7

1)将模型输出的结果与真实标签进行误差求取;所述误差求取采用交叉熵,其可以表示为:
[0062][0063]
其中,表示真实标签与预测结果y之间的误差,p(x
i
)表示模型的前向输出结果,q(x
i
)表示真实标签,σ表示求和;
[0064]
步骤7

2)采用步骤7

1)得到的参数作为本次迭代的权重值;从剩余的图片中随机选取一组图片,经步骤1)、步骤2)、步骤3)、步骤4)、步骤5)、步骤6)和步骤7

1),得到新的参数组合;反复迭代,直至完成一次epoch;
[0065]
步骤7

3)对训练图片进行重新洗牌,转至步骤1);反复执行,直至训练出最优参数组合。
[0066]
在上述技术方案的基础上,所述步骤8)具体包括:
[0067]
步骤8

1)对于待检测的图片,利用双线性插值将待测图片的尺寸调整至模型输入所需大小320
×
320
×
3;
[0068]
步骤8

2)将调整后的图片输入至最优参数模型,经模型前向传输得到预测结果;
[0069]
步骤8

3)将每一像素的预测结果最大概率值所对应的类别是与真实标签进行比较,若一致,则预测正确,反之,则预测错误;
[0070]
步骤8

4)执行步骤8

1)、步骤8

2)和步骤8

3),直到全部待测图片检测完毕。
[0071]
本发明还提供一种基于高层语义与噪声抑制的烟雾语义分割系统,根据上述任一方法构建的烟雾语义分割模型实现,所述系统包括:
[0072]
数据预处理模块,用于对将被输入至模型的图片进行尺寸调整;
[0073]
编码器,用于对输入图像进行多层次特征的提取,得到分别包含空间细节信息和全局抽象语义信息的层级特征;
[0074]
解码器,用于聚合高层上下文特征和底层空间细节特征,实现烟雾语义分割;
[0075]
语义特征金字塔模块,用捕获更大范围内的语义信息,增强特征的全局上下文信息的表示能力;
[0076]
全局语义注意力模块,用于纠正烟雾底层特征偏移并抑制噪声,得到交叉语义特征;
[0077]
特征融合模块,用于聚合高级上下文信息和低级空间细节特征,得到多尺度融合特征;
[0078]
通道注意力模块,用于增强特征的内部相关性,重构多尺度融合特征。
[0079]
与现有方法相比,本发明的技术优势在于:
[0080]
本发明提供的烟雾语义分割技术方案,利用高层语义信息的全局感知能力指导底层特征重构,纠正底层烟雾特征偏移并抑制噪声。基于渐进式解码对层级特征进行解码能够有效融合烟雾的高层语义和底层空间细节,使最终的解码特征中包含丰富的空间细节和高层语义信息,优化烟雾语义分割结果。解码时,为解决底层烟雾特征偏移并抑制背景噪声,采用高层语义信息构建全局语义注意力指导底层空间信息重构。渐进式融合底层空间信息会引入新的噪声影响分割结果。为此,基于多头注意力构建了一种高效的特征融合机制,多头注意力针对不同位置产生不同的可学习权重,通过该权重矩阵实现渐进式解码噪声抑制。最后通过通道注意力模块处理可以更好地学习到特征之间的相关性,改善特征之间的差异。
[0081]
本发明提供的烟雾语义分割技术方案,对烟雾具有更强的学习能力,实现了像素级别的烟雾语义分割,能够对烟雾进行像素级别的精准定位,检测不同场景中差别大的烟雾时,表现出较强的鲁棒性。在测试基准数据集时,本发明所提供的方法取得了超过现有方法的性能。
附图说明
[0082]
图1为本发明提供的烟雾语义分割模型示意图;
[0083]
图2为本发明提供的基于图像金字塔的高层语义特征增强结构示意图;
[0084]
图3为本发明提供的全局语义注意力模块结构示意图;
[0085]
图4为本发明提供的基于多头注意力的特征融合模块结构示意图;
[0086]
图5为本发明提供的通道注意力模块结构示意图。
具体实施方式
[0087]
下面结合附图和具体实施来对本发明作进一步描述。
[0088]
图1为本发明提供的基于多网融合的烟雾语义分割网络模型示意图,如图1所示,其中,“sfe”表示基于图像金字塔的高层语义特征增强模块,“gam”表示全局语义注意力模块,“ffm”表示基于多头注意力的特征融合模块,“ca”表示通道注意力模块,“mha”表示多头注意力机制,骨干网络可以采用resnet50。
[0089]
如图1所示的烟雾语义分割网络由对称的编码器

解码器、高层语义特征增强模块sfe,全局语义注意力模块gam,特征融合模块ffm和通道注意力模块ca构成。该网络的数据处理过程具体包括:
[0090]
步骤1)数据预处理,将训练集按预设数量进行随机分组;
[0091]
步骤2)随机读取一组图片,由具有n层结构的编码器对输入图像进行多层次特征提取,得到分别包含空间细节信息和全局抽象语义信息的层级特征f
i
,i∈[1,n];
[0092]
步骤3)将步骤2)编码器中最后一层高层语义特征f
n
输入至语义特征金字塔模块进行处理,捕获多尺度语义信息,增强高层语义特征的全局上下文信息表示能力,该多尺度高层语义信息可以表示为f

n

[0093]
步骤4)将基于多尺度高层语义信息f

n
构建全局注意力机制并将其作用于编码器各个阶段的输出f
i
,i∈[1,n

1];所述全局注意力机制将多尺度高层语义信息f

n
与不同层次编码特征f
i
进行融合得到交叉语义信息f
icc
并通过多头注意力机制实现特征重构;所述全局注意力机制通过具有全局感知能力的高层语义信息纠正底层烟雾特征偏移并抑制底层特征中包含的噪声。
[0094]
步骤5)将基于多头注意力机制构建高效的特征融合模块;所述特征融合模块首先将解码器第i层解码后的输出f
id
(i∈[1,n

1])进行2倍上采样得到特征f
id
'并与步骤4输出的交叉语义特征进行融合,渐进式地聚合多尺度高级上下文信息和底层空间细节信息,然后通过多头注意力重构,得到噪声经大幅度抑制的融合特征最后由通道注意力模块对进行处理,增强特征的内部相关性,得到解码器第i+1层的输出特征图
[0095]
其中,第一层解码器的输入为步骤3)得到的多尺度高层语义信息f

n
,并直接经由双线性插值和通道注意力模块处理得到输出f
1d

[0096]
步骤6)对所述解码器最后一层的输出进行上采样,得到与原始输入图像相同分辨率的输出特征;
[0097]
步骤7)对输出特征进行特征映射并采用交叉熵计算预测结果与真实值之间的损失,并采用梯度下降法对模型中的参数进行更新;反复迭代,直至训练出最优参数组合;
[0098]
步骤8)基于最优参数模型实现烟雾语义分割。
[0099]
将得到的特征图上采样为与原始输入图像相同的分辨率,则可以通过后续特征映射,确定出与原始图片各像素点位置对应的每一特征图像素点是否为烟雾,实现像素级别的烟雾检测。当获取到所有像素点是否为烟雾的检测结果后,以像素点为单位就可以确定出烟雾在图片中的边界,烟雾在图片中的位置,以及烟雾覆盖的区域等信息。
[0100]
为实现烟雾语义分割,一种做法是直接将编码后的高级语义特征上采样到输入图像的原始分辨率,但是直接上采样将会丢失大量空间细节信息,从而导致边界分割模糊。本发明利用高层语义信息的全局感知能力指导底层特征重构,纠正底层烟雾特征偏移并抑制噪声。基于渐进式解码对层级特征进行解码能够有效融合烟雾的高层语义和底层空间细节,使最终的解码特征中包含丰富的空间细节和高层语义信息,优化烟雾语义分割结果。解码时,为解决底层烟雾特征偏移并抑制背景噪声,采用高层语义信息构建全局语义注意力指导底层空间信息重构。渐进式融合底层空间信息会引入新的噪声影响分割结果。为此,基
于多头注意力构建了一种高效的特征融合机制,多头注意力针对不同位置产生不同的可学习权重,通过该权重矩阵实现渐进式解码噪声抑制。最后通过通道注意力模块处理可以更好地学习到特征之间的相关性,改善特征之间的差异。本发明提供的烟雾语义分割技术方案,对烟雾具有更强的学习能力,实现了像素级别的烟雾语义分割,能够对烟雾进行像素级别的精准定位,检测不同场景中差别大的烟雾时,表现出较强的鲁棒性。在测试基准数据集时,本发明所提供的方法取得了超过现有方法的性能。
[0101]
具体的,上述步骤5)具体包括:
[0102]
步骤5

1)编码器第n层的层级语义特征f
n
经所述通道注意力模块处理后得到作为解码器第一层的输入;
[0103]
步骤5

2)将经解码器第一层解码后的输出f
1d
与步骤4)得到的特征经由特征融合模块处理,得到多尺度融合特征然后经多头注意力机制处理得到重构矩阵,实现噪声抑制,最后由通道注意力模块对进行处理,得到特征作为解码器第二层的输入;
[0104]
步骤5

3)将解码器第i层得到的作为解码器第i+1层的输入,后续执行与步骤5

2)相同的计算,直至得到解码器第n层解码后的输出
[0105]
图2为本发明提供的基于图像金字塔的高层语义特征增强模块结构示意图,如图2所示的高层语义特征增强模块包括4个分支,第一分支为卷积核大小为1*1,膨胀率为0的空洞卷积层;第二分支为卷积核大小为3*3,膨胀率为3的空洞卷积层;第三分支为卷积核大小为3*3,膨胀率为5的空洞卷积层;第四分支为卷积核大小为3*3,膨胀率为7的空洞卷积层;
[0106]
上述步骤3)具体包括:
[0107]
步骤3

1)将编码器最后一层输出的层级语义特征f
n
分别经过语义特征金字塔模块的4个分支进行运算,得到对应的4组特征图;
[0108]
步骤3

2)将所述4组特征图进行级联,得到多尺度特征f

n
,计算公式如下:
[0109]
f

n
=concat[dc0(f
n
),dc3(f
n
),dc5(f
n
),dc7(f
n
)]
[0110]
其中,dc
r
表示膨胀率为r的空洞卷积函数。
[0111]
视觉上下文信息对于烟雾的语义分割非常重要。基于cnn的深度学习模型通常通过堆叠多个卷积层来捕获被检测对象的上下文信息。另外,不同场景中,烟雾外观的质地、颜色和形状存在较大差异,使得烟雾语义分割更具挑战性。本发明基于图像金字塔原理设计了高层语义特征增强模块sfe。通过采用4组具有不同膨胀率的空洞卷积,可以捕获到表示烟雾的尺度和形状不变性的多感知域上下文信息,通过级联操作实现特征聚合,获得具有多尺度全局上下文感知信息的特征。从而有效克服由于烟雾外观(纹理、颜色和形状等)和背景等差异造成分割效果较差的问题。
[0112]
图3为本发明提供的全局注意力模块结构示意图,其中“u”表示上采样,“mha”表示多头注意力机制,如图3所示,上述步骤4)具体包括:
[0113]
步骤4

1)将编码器第i层输出特征f
i
经过第一卷积层处理得到同时将所述多尺度高层语义特征f

n
经过第二卷积层处理后,再进行上采样,得到
[0114]
其中,通过双线性插值运算实现上采样,计算过程如下:
[0115]
f(x,y)=p(x,y)/((x2‑
x1)*(y2‑
y1))
[0116]
p(x,y)=f(q
11
)*t(x2,y2)

f(q
21
)*t(x1,y2)

f(q
12
)*t(x2,y1)+f(q
22
)*t(x1,y1)
[0117]
t(x
i
,y
i
)=(x
i

x)*(y
i

y),i,j∈{1,2}
[0118]
其中x
i
,y
i
代表与像素(x,y)相邻的像素位置,f(q
ij
)=f(x
i
,y
j
);
[0119]
步骤4

2)将所述与进行级联后,经第三卷积层处理得到交叉语义特征f
icc

[0120]
步骤4

3)将所述f
icc
经多头注意力机制运算,得到包含烟雾特征优化和噪声抑制在内的重构矩阵w;
[0121]
其中,多头注意力机制的计算过程如下:
[0122]
mha(q,k,v)=c(head1,head2,...,head
n
)w
[0123]
head
i
=attn(qw
iq
,kw
ik
,vw
iv
)
[0124][0125]
其中,head
i
代表多头注意力的第i个头,qw
iq
,kw
ik
,vw
iv
分别代表q、k、v对应的权重矩阵,表示比例因子,q,k,v=f
icc

[0126]
步骤4

4)由f
icc
与重构矩阵w,计算得到第i层经由优化后的输出计算过程如下:
[0127][0128]
另外,所述第一卷积层、第二卷积层及第三卷积层均包括256个大小为1*1卷积核。
[0129]
在解码阶段,渐进式融合底层空间细节信息可以增强不同分辨率特征对被检测对象的表达能力,从而优化目标对象边缘分割效果。但是,简单的融合方式存在以下问题:1)底层烟雾特征由于不具备全局信息产生特征偏移;2)底层空间特征包含大量噪声。此外,上采样操作还会导致高层抽象语义信息被稀释。
[0130]
本发明设计了上述全局语义注意力机制,该机制采用两个1
×
1卷积分别对输入的底层空间细节特征和多尺度高层语义特征进行卷积计算,将它们的通道压缩至256,然后利用双线性插值对高层语义特征进行上采样并按通道聚合高层语义和底层空间信息。然而,简单的融合并不能完全发掘高层语义纠正底层烟雾特征偏移和抑制背景噪声。本发明为此采用多头注意力机制为每个位置生成可学习权重来通过高层语义指导底层空间细节特征的重构,从而实现了特征偏移纠正和噪声抑制。另外减轻了渐进式上采样过程中全局信息稀释的影响,使得解码特征输出对烟雾具有更强的表达能力。
[0131]
图4为本发明提供的基于多头注意力的特征融合模块结构示意图,如图4所示,“mha”表示多头注意力机制,“w”为多头注意力机制计算出的权重矩阵,上述步骤5)中特征融合模块处理过程包括:
[0132]
将解码器第i层解码后的输出f
id
进行上采样后与编码器第n

i层对应的经全局语义注意力模块处理后的特征进行级联,得到多尺度融合特征f
i
';
[0133]
将f
i
'输入至多头注意力模块为多尺度融合特征每个位置产生可学习的权重,得到自适应重构矩阵w
i
,通过自适应重构矩阵w
i
的重构作用抑制特征融合过程引入的附加噪
声,即由f
i
'与w
i
进行按位置相乘计算得到特征计算公式如下:
[0134][0135]
通过该特征融合模块,可以更加有效地聚合底层空间细节信息并抑制附加噪声,实现高效的特征融合。
[0136]
图5为本发明提供的通道注意力模块结构示意图,其中,“gap”表示全局平均池化,“c”表示特征图通道数,“h”表示特征图的高度,“w”表示特征图的宽度。如图5所示,上述步骤5)中的通道注意力模块处理过程包括:
[0137]
由全局平均池化层将特征压缩为具有全局语义信息的向量v
c

[0138]
将v
c
经过一个全连接层之后采用sigmoid函数进行激活,之后经过1个一维卷积层并采用relu函数进行激活;
[0139]
将relu函数进行激活后的输出,经过softmax函数进行通道向量归一化,得到权重矩阵a;
[0140]
由a和计算得到特征图
[0141]
计算公式如下:
[0142]
a=softmax(σ(conv1d(δ(h1(v
c
,w1)),w2)))
[0143][0144]
其中,w
i
指通道注意模块的权重,σ表示relu函数,δ表示sigmoid函数,h表示全连接层,conv1d表示1维卷积层。
[0145]
在cnn中不同的特征通道对不同语义或空间信息的响应不同。在解码阶段,将高级和低级的特征进行聚合,可以获得被检测对象的多尺度特征表达。为获取烟雾语义分割图,最直接的一种方法使应用softmax层,但这样做存在一些缺点。例如,不同层级特征之间的互相影响可能导致边界模糊和不完整。为此,本发明设计了通道注意力(ca)模块,在ca模块中通过全局平均池化操作将融合特征进行压缩,之后可采用两个连续的全连接层来捕获逐通道间的相关性,但仅采用全连接方式会丢失特征图的内部相关性,所以本发明采用了一维卷积来替换通用的全连接。通过使用非线性函数,如relu和sigmoid,将v
c
转换为可学习的参数。经过ca模块的运算,会将更大的权重分配给对烟雾反应强烈的通道,重构融合特征,进一步增强所提取的特征对烟雾的表达能力。
[0146]
可选的,上述特征映射包括1个3
×
3卷积层和1个sigmoid函数;所述3
×
3卷积层实现解码特征向烟雾语义分割输出结果的特征映射;采用sigmoid归一化函数进行归一化处理,得到图像的像素级分类结果,表示为:
[0147][0148]
其中,i表示第i个得分值,∑
j
e
j
表示所有特征值的总和;选取概率最大值对应的类别作为像素级烟雾检测的判别结果
[0149]
可选的,上述步骤7)具体包括:
[0150]
步骤7

1)将模型输出的结果与真实标签进行误差求取;所述误差求取采用交叉
熵,其可以表示为:
[0151][0152]
其中,表示真实标签与预测结果y之间的误差,p(x
i
)表示模型的前向输出结果,q(x
i
)表示真实标签,σ表示求和;
[0153]
步骤7

2)采用步骤7

1)得到的参数作为本次迭代的权重值;从剩余的图片中随机选取一组图片,经步骤2)、步骤3)、步骤4)、步骤5)、步骤6)和步骤7

1),得到新的参数组合;反复迭代,直至完成一个训练周期(epoch);
[0154]
步骤7

3)对训练图片进行重新洗牌,转至步骤1);反复执行,直至训练出最优参数组合。
[0155]
可选的,上述步骤8)具体包括:
[0156]
步骤8

1)对于待检测的图片,利用双线性插值将待测图片的尺寸调整至模型输入所需大小224
×
224
×
3;
[0157]
步骤8

2)将调整后的图片输入至最优参数模型,经模型前向传输得到预测结果;
[0158]
步骤8

3)将每一像素的预测结果最大概率值所对应的类别是与真实标签进行比较,若一致,则预测正确,反之,则预测错误;
[0159]
步骤8

4)执行步骤8

1)、步骤8

2)和步骤8

3),直到全部待测图片检测完毕。
[0160]
本发明还提供一种基于高层语义和噪声抑制的烟雾语义分割系统,根据上述实施例提供的任意方法构建的烟雾语义分割网络实现,该系统包括:
[0161]
数据预处理模块,用于对将被输入至模型的图片进行尺寸调整;
[0162]
编码器,用于对输入图像进行多层次特征的提取,得到分别包含空间细节信息和全局抽象语义信息的层级特征;
[0163]
解码器,用于聚合高层上下文特征和底层空间细节特征,实现烟雾语义分割;
[0164]
语义特征金字塔模块,用捕获更大范围内的语义信息,增强特征的全局上下文信息的表示能力;
[0165]
全局语义注意力模块,用于纠正烟雾底层特征偏移并抑制噪声,得到交叉语义特征;
[0166]
特征融合模块,用于聚合高级上下文信息和低级空间细节特征,得到多尺度融合特征;
[0167]
通道注意力模块,用于增强特征的内部相关性,重构多尺度融合特征。
[0168]
最后所应说明的是,以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
再多了解一些
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1