(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 111814761 A(43)申请公布日 2020.10.23
(21)申请号 202010857536.0(22)申请日 2020.08.24
(71)申请人 国网湖南省电力有限公司
地址 410004 湖南沙市天心区新韶东
路398号
申请人 国网湖南省电力有限公司经济技术
研究院
国家电网有限公司(72)发明人 李沛哲 李湘旗 程津 陈仲伟
肖振锋 王逸超 邓凯 刘浩田 伍也凡 冷阳 谢林瑾 李晨 张昀伟 徐敬文 (74)专利代理机构 长沙永星专利商标事务所
(普通合伙) 43001
代理人 周咏 米中业
权利要求书2页 说明书5页 附图3页
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)G06N 3/04(2006.01)
(54)发明名称
储能电站安全智能监控方法(57)摘要
本发明公开了一种储能电站安全智能监控方法，包括摄像头实时获取监控画面、采集并上传服务器；服务器处理图像、采用神经网络判别模型进行识别并获取识别结果和定位数据；控制摄像头进行实时跟踪；服务器与远程流媒体通信并共享实现监控画面。本发明优化了人工智能识别模型，减小了算力负担，可实现远程实时处理，可快速进行人像检测和识别；同时根据跟踪算法实时对识别的目标进行跟踪；因此，本发明方法实现了储能电站的安全实时监控，而且可靠性高、实时性好且效率较高。
CN 111814761 ACN 111814761 A
权 利 要 求 书
1/2页
1.一种储能电站安全智能监控方法，包括如下步骤：S1.摄像头实时获取监控区域的监控画面；S2.摄像头对所捕捉的监控画面进行采集，并上传给服务器；S3.服务器将接收到的视频信号进行图像处理，并采用神经网络判别模型进行识别，从而获取识别结果和定位数据；
S4.根据步骤S3获取的识别结果和定位数据，控制摄像头进行实时跟踪；S5.服务器与远程流媒体通信，通过推流的方式将视频信号推送到流媒体服务器，从而实现监控画面的共享。
2.根据权利要求1所述的储能电站安全智能监控方法，其特征在于步骤S3所述的神经网络判别模型，具体为采用如下神经网络判别模型：
A.搭建神经网络判别模型：神经网络由网络层级结构构成；由卷积层与池化层提取图像特征，由全连接层生成分类信息；其中每层里面包含若干个神经元；每个神经元的输入为权值乘以前神经元输出，输出为对所有输入加和的激活；图像信息最终以神经元信号的方式在各层级之间向前传导，通过训练修改不同神经元之间的权值，拟合需要的数据分布从而达到检测和识别目标的功能；神经网络大致由两部分组成：检测和识别；
B.检测网络基于目标检测任务设计：通过检测人脸的相关特征，从而提出去人脸数据：首先是提取图像特征，由多个卷积层与池化层实现；在特征提取中，通过训练不同的卷积核并自动生成相关的特征过滤器；采用残差卷积连接，激活函数采用Prelu激活函数；引入特征金字塔模块，用于将底层语义插值放大并增加横向连接；引入SSH上下文模块，通过级联不同数量的3*3卷积操作，实现提取不同感受野的语义信息，并最终由SE模块分配重并送入检测头部进行回归和分类的检测；将提取到的人脸特征通过回归和分类头部的1*1卷积转换为边界框的分类信息以及边界坐标的回归信息；最终，获得图像中人脸的边界框坐标以及大小；
C.识别网络通过卷积层与池化层过滤人脸特征；采用resnet50作为backbone，提取目标512维特征向量，并利用arcface_loss为监督信号训练网络以扩大不同特征表达在角度空间的差异，从而区分不同人脸的特征表达；基于网络生成的人脸特征向量，与人脸数据库进行对别从而实现识别的功能。
3.根据权利要求2所述的储能电站安全智能监控方法，其特征在于所述的arcface_loss，具体为采用如下算式进行表达：
式中s为缩放系数，m为偏移系数，θ为权重与特征的归一化后向量内角。
4.根据权利要求2所述的储能电站安全智能监控方法，其特征在于所述的神经网络判别模型，采用如下算式作为神经元层间的传导公式：
out＝w*input+b
式中w为(w1,w2,w3,w4)组成的权值矩阵，b为偏置bias。5.根据权利要求2所述的储能电站安全智能监控方法，其特征在于步骤S4所述的控制
2
CN 111814761 A
权 利 要 求 书
2/2页
摄像头进行实时跟踪，具体为采用如下步骤控制摄像头进行实时跟踪：
a.处理器接收摄像头获取视频图像帧，并将图像帧送入神经网络，判断人员类型，并获得电站访客在图像中的坐标(x,y)；
b.根据坐标(x,y)与监控画面中心坐标(X,Y)的差值(Δx,Δy)，判断现在目标人物相对于画面中心的左右相对位置，从而让处理器生成左转或右转PWM信号输出至电机驱动，控制云台转动，从而实现摄像头追随异常转动。
6.根据权利要求5所述的储能电站安全智能监控方法，其特征在于所述的PWM信号，具体为采用如下算式计算得到PWM信号：
V＝α*Vmax
式中Uav为平均电压，Us为峰值电压，V为PWM控制的电机转速，Vmax为电机最快转速，α为PWM调制的占空比。
7.根据权利要求1～6之一所述的储能电站安全智能监控方法，其特征在于步骤S5所述的服务器与远程流媒体通信，通过推流的方式将视频信号推送到流媒体服务器，从而实现监控画面的共享，具体为采用如下步骤进行共享：
远程搭建一个流媒体服务器，并在流媒体服务器上部署RTMP协议；在流媒体服务器上设置前端页面，并接收来自服务器的推流信号，并在前端页面进行呈现。
3
CN 111814761 A
说 明 书
储能电站安全智能监控方法
1/5页
技术领域
[0001]本发明属于智能安防领域，具体涉及一种储能电站安全智能监控方法。
背景技术
[0002]随着经济技术的发展和人们生活水平的提高，电能已经成为了人们生产和生活中必不可少的二次能源，给人们的生产和生活带来了无尽的便利。因此，电力系统的稳定可靠运行，就成为了电力系统最重要的任务之一。[0003]目前，随着风电、光伏等新能源发电发展，起风、弃光等现象也日益严重。储能系统能够显著提高风、光等可再生能源的消纳水平，维持电网的稳定运行，是推动主体能源由化石能源向可再生能源更替的关键技术。因此，储能系统和储能电站也得到了长足的发展。[0004]电化学储能电站有很多优点，在可再生能源发展中具有很好的应用前景。但是，电化学储能电站也有缺点，其中最突出的是安全性问题。储能电站时刻面临着火灾等事故风险；因此，储能电站的安全监控就成为了储能电站的重要组成部分。[0005]目前，储能电站的安全监控还处于粗放管理的水平。安全监控，一般采用的均为简单的视频监控+视频存储的方式：储能电站的大量的监控画面实时传回总控室进行实时显示和存储，而值班人员需要对海量的监控画面进行人工排查和监视。目前的这种监控方式，明显存在效率低下，安全性不高，操作性不强等缺陷。发明内容
[0006]本发明的目的在于提供一种可靠性高、实时性好且效率较高的储能电站安全智能监控方法。
[0007]本发明提供的这种储能电站安全智能监控方法，包括如下步骤：[0008]S1.摄像头实时获取监控区域的监控画面；[0009]S2.摄像头对所捕捉的监控画面进行采集，并上传给服务器；[0010]S3.服务器将接收到的视频信号进行图像处理，并采用神经网络判别模型进行识别，从而获取识别结果和定位数据；
[0011]S4.根据步骤S3获取的识别结果和定位数据，控制摄像头进行实时跟踪；[0012]S5.服务器与远程流媒体通信，通过推流的方式将视频信号推送到流媒体服务器，从而实现监控画面的共享。
[0013]步骤S3所述的神经网络判别模型，具体为采用如下神经网络判别模型：[0014]A.搭建神经网络判别模型：神经网络由网络层级结构构成；由卷积层与池化层提取图像特征，由全连接层生成分类信息；其中每层里面包含若干个神经元；每个神经元的输入为权值乘以前神经元输出，输出为对所有输入加和的激活；图像信息最终以神经元信号的方式在各层级之间向前传导，通过训练修改不同神经元之间的权值，拟合需要的数据分布从而达到检测和识别目标的功能；神经网络大致由两部分组成：检测和识别；[0015]B.检测网络基于目标检测任务设计：通过检测人脸的相关特征，从而提出去人脸
4
CN 111814761 A
说 明 书
2/5页
数据：首先是提取图像特征，由多个卷积层与池化层实现；在特征提取中，通过训练不同的卷积核并自动生成相关的特征过滤器；采用残差卷积连接，激活函数采用Prelu激活函数；引入特征金字塔模块，用于将底层语义插值放大并增加横向连接；引入SSH上下文模块，通过级联不同数量的3*3卷积操作，实现提取不同感受野的语义信息，并最终由SE模块分配重并送入检测头部进行回归和分类的检测；将提取到的人脸特征通过回归和分类头部的1*1卷积转换为边界框的分类信息以及边界坐标的回归信息；最终，获得图像中人脸的边界框坐标以及大小；
[0016]C.识别网络通过卷积层与池化层过滤人脸特征；采用resnet50作为backbone，提取目标512维特征向量，并利用arcface_loss为监督信号训练网络以扩大不同特征表达在角度空间的差异，从而区分不同人脸的特征表达；基于网络生成的人脸特征向量，与人脸数据库进行对别从而实现识别的功能。[0017]所述的arcface_loss，具体为采用如下算式进行表达：
[0018]
式中s为缩放系数，m为偏移系数，θ为权重与特征的归一化后向量内角。[0020]所述的神经网络判别模型，采用如下算式作为神经元层间的传导公式：[0021]out＝w*input+b
[0022]式中w为(w1,w2,w3,w4)组成的权值矩阵，b为偏置bias。[0023]步骤S4所述的控制摄像头进行实时跟踪，具体为采用如下步骤控制摄像头进行实时跟踪：
[0024]a.处理器接收摄像头获取视频图像帧，并将图像帧送入神经网络，判断人员类型，并获得电站访客在图像中的坐标(x,y)；[0025]b.根据坐标(x,y)与监控画面中心坐标(X,Y)的差值(Δx,Δy)，判断现在目标人物相对于画面中心的左右相对位置，从而让处理器生成左转或右转PWM信号输出至电机驱动，控制云台转动，从而实现摄像头追随异常转动。[0026]所述的PWM信号，具体为采用如下算式计算得到PWM信号：
[0027]
[0019]
V＝α*Vmax
[0029]式中Uav为平均电压，Us为峰值电压，V为PWM控制的电机转速，Vmax为电机最快转速，α为PWM调制的占空比。
[0030]步骤S5所述的服务器与远程流媒体通信，通过推流的方式将视频信号推送到流媒体服务器，从而实现监控画面的共享，具体为采用如下步骤进行共享：[0031]远程搭建一个流媒体服务器，并在流媒体服务器上部署RTMP协议；[0032]在流媒体服务器上设置前端页面，并接收来自服务器的推流信号，并在前端页面进行呈现。
[0033]本发明提供的这种储能电站安全智能监控方法，优化了人工智能识别模型，减小
5
[0028]
CN 111814761 A
说 明 书
3/5页
了算力负担，可实现远程实时处理，可快速进行人像检测和识别；同时根据跟踪算法实时对识别的目标进行跟踪；因此，本发明方法实现了储能电站的安全实时监控，而且可靠性高、实时性好且效率较高。
附图说明
[0034]图1为本发明方法的方法流程示意图。
[0035]图2为本发明方法的神经网络判别模型的结构示意图。[0036]图3为本发明方法的神经网络判别模型的经典结构示意图。
[0037]图4为本发明方法的神经网络判别模型的SSH上下文模块的示意图。[0038]图5为本发明方法的神经网络判别模型的resnet50网络结构示意图。[0039]图6为本发明方法的PWM原理示意图。
具体实施方式
[0040]如图1所示为本发明方法的方法流程示意图：本发明提供的这种储能电站安全智能监控方法，包括如下步骤：
[0041]S1.摄像头实时获取监控区域的监控画面；[0042]S2.摄像头对所捕捉的监控画面进行采集，并上传给服务器；[0043]S3.服务器将接收到的视频信号进行图像处理，并采用神经网络判别模型进行识别，从而获取识别结果和定位数据；[0044]在具体实施时，采用如下步骤构建神经网络判别模型：[0045]A.按图2搭建神经网络判别模型，神经网络由网络层级结构构成，其经典结构如图3(a)所示：由卷积层与池化层提取图像特征，由全连接层生成分类信息；其中每层里面包含多个神经元；每个神经元如图3(c)所示，其输入为权值乘前神经元输出，输出为对所有输入加和的激活(active)；图像信息最终以神经元信号的方式在各层级之间向前传导，通过训练修改不同神经元之间的权值，可以拟合需要的数据分布从而达到智能检测、智能识别的目标；神经网络大致由两部分组成：检测和识别；先找到画面中人像所在位置(x,y)，再将检测到的人像用于识别；
[0046]B.检测网络基于目标检测任务设计，通过检测人脸的相关特征，将人脸由背景中提取出来；首先是提取图像特征，此步骤由多个卷积层与池化层实现；在特征提取中，通过训练不同的卷积核可以自动生成相关的特征过滤器；而为了加深特征提取网络，普通的卷积连接可以修改为残差卷积连接，并对激活函数进行优化，改为了Prelu激活函数，以更适应于人脸特征的检测；为了应对图像中不同尺度的人脸图像，网络引入了特征金字塔模块(Feature pyramid net)，通过把底层语义插值放大并增加横向连接，可以更充分的利用底层语义信息和多尺度信息，以实现更好的多尺度人脸检测；在多尺度检测感受野方面，网络引入了类似于inception的SSH上下文模块(如图4所示)，通过级联不同数量的3*3卷积操作可以实现提取不同感受野的语义信息，对其进行拼接操作可以充分利用上下文信息，提高网络的精度，最终由SE模块分配重并送入检测头部进行回归和分类的检测；由于本专利人脸检测算法是anchor-based，所以需要将提取到的人脸特征通过回归和分类头部的1*1卷积转换为边界框的分类信息以及边界坐标的回归信息；至此，可以获得图像中人脸的边
6
CN 111814761 A
说 明 书
4/5页
界框坐标以及大小；通过公开数据集可以训练一个性能强大的人脸检测器，借此来实现对图像中的人脸进行定位检测；
[0047]C.识别网络基于人脸特征表达相似的假设，通过卷积层与池化层过滤人脸特征；本专利利用resnet50(如图5所示)做为backbone提取目标512维特征向量，并利用arcface_loss为监督信号训练网络以扩大不同特征表达在角度空间的差异，从而区分不同人脸的特征表达；基于网络生成的人脸特征向量，可以与人脸数据库进行对别从而实现识别的功能；[0048]Arcface_loss表达式：
[0049]
[0050]
式中s为缩放系数，m为偏移系数，θ为权重与特征的归一化后向量内角；
[0051]神经元层间传导公式：[0052]out＝w*input+b
[0053]式中w为(w1,w2,w3,w4)组成的权值矩阵，b为偏置bias；[0054]S4.根据步骤S3获取的识别结果和定位数据，控制摄像头进行实时跟踪；具体为采用如下步骤控制摄像头进行实时跟踪：具体为采用如下步骤进行实时跟踪：[0055]a.处理器接受摄像头获取视频图像帧，并将图像帧送入神经网络，判断人员类型(比如是工作人员还是其他访客)，并获得电站访客在图像中的坐标(x,y)；[0056]b.根据坐标(x,y)与监控画面中心坐标(X,Y)的差值(Δx,Δy)，判断现在目标人物相对于画面中心的左右相对位置，从而让处理器生成左转或右转PWM信号输出至电机驱动，电机带动云台转动，从而实现摄像头追随异常转动；PWM原理如图6所示；
[0057]
V＝α*Vmax
[0059]其中Uav为平均电压，Us为峰值电压，V为PWM控制的电机转速，Vmax为电机最快转速，α为PWM调制的占空比；
[0060]S5.服务器与远程流媒体通信，通过推流的方式将视频信号推送到流媒体服务器，从而实现监控画面的共享；具体为采用如下步骤进行共享：[0061]远程搭建一个流媒体服务器，并在流媒体服务器上部署RTMP协议；[0062]在流媒体服务器上设置前端页面，并接收来自服务器的推流信号，并在前端页面进行呈现。
[0063]以下结合一个实施例，对本发明方法进行进一步说明：[00]本发明的实例中，配备有一台边缘摄像头捕捉监控画面，摄像头为树莓派picamera，捕捉画面可直接送入树莓派搭载的神经网络模型进行运算，减小了时延与传输成本。
[0065]树莓派处理器每0.5秒捕捉一帧分辨率为(320*240)的画面。将画面送入神经网络，轻型人脸检测算法可以将画面中的行人进行人脸检测定位，输出一个分割后的人脸边界框，过滤掉图像的背景噪声。测试实例中输入(320*240)人像照片，边界框回归与真实人
7
[0058]
CN 111814761 A
说 明 书
5/5页
脸边界误差为十位数级别，意味着一副图像中人脸定位误差仅为十位数级别，能精确检测人脸过滤背景噪音。
[0066]人像送入轻型识别网络进行识别处理，根绝行人的脸部特征，衣着特征可以进行高精度的分类，判断行人是工作人员或其他访客，并返回其图像坐标(x,y)。实例测试行人识别精度为百分之九十以上，能精确分辨行人是否为数据库中保存对象。
[0067]处理器选取图像中面积最大的访客的(x,y)坐标并与画面中心(160，120)取差值(Δx,Δy)。通过差值生成控制云台的PWM信号，控制云台转动，实现摄像头的行人追踪。摄像头置于云台上又云台搭载跟踪转动，转动流畅。[0068]搭建Nginx服务器并部署RTMP协议，实现可接受视频流的流媒体服务器。并在流媒体服务器上部署前端页面拉流，可实现监控主题随时远程监控。视频流数据由ffmpeg工具通过wifi通信远程推流至搭建好的流媒体服务器。[0069]访问流媒体服务器前端监控页面，画质清晰能够清楚看到行人行为特征，视频帧率保持在25帧左右，满足人眼流畅观看体验。视频延迟小于一秒，满足只能监控的实时性。访客经过监控画面时，画面显示跟随访客行进路线，帧率没有明显下降，整个智能监控系统表现良好，符合智能监控系统的要求。
8
CN 111814761 A
说 明 书 附 图
1/3页
图1
9
CN 111814761 A
说 明 书 附 图
2/3页
图2
图3
10
CN 111814761 A
说 明 书 附 图
3/3页
图4
图5
图6
11
