kaiyun一种基于深度学习的三维人脸识别方法pdf一种基于深度学习的三维人脸识别方法，包括：构建人脸三维深度学习网络，计算每个训练样本的高频‑深度映射图，然后将每个训练样本的彩色人脸二维图像和高频‑深度映射图同时输入人脸三维深度学习网络中训练；使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐标；根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对比，从而识别待

　　(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 113963420 A (43)申请公布日 2022.01.21 (21)申请号 4.6 (22)申请日 2021.11.10 (71)申请人 杭州东信北邮信息技术有限公司 地址 310013 浙江省杭州市西湖区文三路 398号4层 (72)发明人 车建强曹予飞尹茂 (51) Int.C l. G06V 40/16 (2022.01) G06V 10/82 (2022.01) G06V 10/774 (2022.01) G06V 10/80 (2022.01) G06N 3/04 (2006.01) G06N 3/08 (2006.01) 权利要求书2页 说明书3页 附图3页 (54)发明名称 一种基于深度学习的三维人脸识别方法 (57)摘要 一种基于深度学习的三维人脸识别方法，包 括 ：构建人脸三维深度学习网络，计算每个训练 样本的高频‑深度映射图，然后将每个训练样本 的彩色人脸二维图像和高频‑深度映射图同时输 入人脸三维深度学习网络中训练；使用彩色摄像 头拍摄获得待测人脸的彩色人脸二维图像，然后 将待测人脸的彩色人脸二维图像输入训练后的 人脸三维深度学习网络，输出获得待测人脸的三 维点云坐标；根据待测人脸的彩色人脸二维图像 和三维点云坐标，计算三维人脸特征向量，然后 将待测人脸的三维人脸特征向量和注册库中已 注册人脸的三维人脸特征向量进行对比，从而识 A 别待测人脸的人员信息。本发明属于信息技术领 0 域，能充分利用人脸的深度信息来有效提高人脸 2 4 3 识别结果的可靠性。 6 9 3 1 1 N C CN 113963420 A 权利要求书 1/2页 1.一种基于深度学习的三维人脸识别方法，其特征在于，包括有： 步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频‑深度映射图，然后将 每个训练样本的彩色人脸二维图像和高频‑深度映射图同时输入人脸三维深度学习网络中 进行训练； 步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人脸的 彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点云坐 标； 步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标kaiyun.com，计算三维人脸特征向量， 然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进行对 比，从而识别待测人脸的人员信息。 2.根据权利要求1所述的方法，其特征在于，步骤一中人脸三维深度学习网络的具体结 构构建如下： 基于tensorflow框架实现，并采用编码‑解码encoder‑decoder结构：在encoder部分 中，包含1个卷积层、7个残差层，从而将输入的250*250*3的人脸二维图像转变为16*16* 1024的特征图；在decoder部分中，设置9个反卷积层，从而将特征图转变为250*250*1的三 维深度图，再通过三维深度图和点云之间固定的转换关系，将三维深度图转变成三维点云 输出，卷积层和反卷积层核的大小均为4，激活函数采用Softplus。 3.根据权利要求1所述的方法，其特征在于，计算任一训练样本X的高频‑深度映射图， 进一步包括有： 步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样本X 的频谱图； 步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，然后从训练样本X的频 谱图上读取每个关键点的频谱值，并据此计算高通滤波函数的截断值D ，D 是所有关键点的 0 0 频谱值的平均值； 步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤波后 的高频图，高通滤波函数设置如下： 其中，D(u,v)是训练样本X的 频谱图上坐标(u,v)的频谱值，n是阶次常数，取2或者4，H(u,v)是滤波后得到的频谱值； 步骤14kaiyun.com、将训练样本X的高频图进行反向傅里叶变换，从而获得高频彩色人脸二维图 像； 步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对，并将高于阈值的亮 度值替换成深度值，当比对完所有点后，所获得的高频彩色人脸二维图像即是训练样本X的 高频‑深度映射图。 4.根据权利要求3所述的方法，其特征在于，步骤15进一步包括有： 判断每个点的亮度值是否高于阈值，如果是，则从训练样本X的三维点云中读取该点的 三维坐标，并将所读取的三维坐标转化成深度值，然后将该点的亮度值替换成深度值；如果 否，则继续判断下一个点。 5.根据权利要求1所述的方法，其特征在于，步骤三中，根据待测人脸的彩色人脸二维 图像和三维点云坐标，计算三维人脸特征向量，进一步包括有： 2 2 CN 113963420 A 权利要求书 2/2页 步骤31、将待测人脸的彩色人脸二维图像进行人脸检测、裁剪、对齐后，转化成浮点型 矩阵，然后计算对应的二维图像特征向量，所述二维图像特征向量是大小为512的一维向 量； 步骤32、根据待测人脸的三维点云坐标，以鼻尖为坐标原点，以双眼连线为横轴方向x， 以鼻尖和嘴唇中间连线为纵轴方向y，建立笛卡尔xyz直角坐标系，从而得到人脸三维点云 矩阵，然后计算对应的三维点云特征向量，所述三维点云特征向量是大小为3*512的三维向 量； 步骤33、设置权重因子，将二维图像特征向量和三维点云特征向量进行融合，融合后得 到的特征向量即是三维人脸特征向量。 6.根据权利要求5所述的方法，其特征在于，步骤33中，二维人脸特征、x方向特征、y方 向特征、z方向特征的权重因子分别设置为：0.5、0.17、0.17、0.16kaiyun官方网站。 7.根据权利要求1所述的方法，其特征在于，步骤三中，将待测人脸的三维人脸特征向 量和注册库中任一已注册人脸的三维人脸特征向量进行对比，进一步包括有： 步骤A1、计算待测人脸的三维人脸特征向量A和已注册人脸的三维人脸特征向量B之间 的余弦相似度，其计算公式是： 其中，A ·B表示向量A和B的点积，‖A‖表 2 示向量A的L2范数，‖B‖表示向量B的L2范数； 2 步骤A2、计算待测人脸和已注册人脸的余弦距离：dist(A,B)＝1‑cos(A,B)，并据此判 断待测人脸是否是已注册人脸。 3 3 CN 113963420 A 说明书 1/3页 一种基于深度学习的三维人脸识别方法 技术领域 [0001] 本发明涉及一种基于深度学习的三维人脸识别方法，属于信息技术领域。 背景技术 [0002] 人脸识别是指利用分析人脸视觉特征信息进行身份鉴别的计算机技术，属于非接 触式识别，具有很高的隐蔽性，被广泛应用于办公场地、工地等安全系数要求较高的领域。 [0003] 近年来，随着深度学习技术的发展，利用神经网络的人脸识别技术日渐成熟，相关 应用也日渐落地，但由于在人脸成像过程中损失了深度信息，所有识别结果的可靠性仍有 不足。 [0004] 因此，如何充分利用人脸的深度信息来有效提高人脸识别结果的可靠性，已成为 现有技术中亟待解决的技术问题之一。 发明内容 [0005] 有鉴于此，本发明的目的是提供一种基于深度学习的三维人脸识别方法，能充分 利用人脸的深度信息来有效提高人脸识别结果的可靠性。 [0006] 为了达到上述目的，本发明提供了一种基于深度学习的三维人脸识别方法，包括 有： [0007] 步骤一kaiyun.com、构建人脸三维深度学习网络，计算每个训练样本的高频‑深度映射图，然 后将每个训练样本的彩色人脸二维图像和高频‑深度映射图同时输入人脸三维深度学习网 络中进行训练； [0008] 步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人 脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点 云坐标； [0009] 步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标，计算三维人脸特征 向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进 行对比，从而识别待测人脸的人员信息。 [0010] 与现有技术相比，本发明的有益效果是：本发明将人脸深度信息加入到神经网络 的训练过程中，弥补了深度信息的缺失，从而有效提高了人脸识别结果的可靠性；本发明仅 采用一个摄像头，只需要获取被测人脸的单张图像，并结合深度学习及机器学习等技术，大 大提高了人脸检测的速度、通过率及防伪率kaiyun体育下载官网，且成本低、精度高。 附图说明 [0011] 图1是本发明一种基于深度学习的三维人脸识别方法的流程图。 [0012] 图2是计算任一训练样本X的高频‑深度映射图的具体流程图。 [0013] 图3是图1步骤三中，根据待测人脸的彩色人脸二维图像和三维点云坐标计算三维 人脸特征向量的具体流程图。 4 4 CN 113963420 A 说明书 2/3页 具体实施方式 [0014] 为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步 的详细描述。 [0015] 如图1所示，本发明一种基于深度学习的三维人脸识别方法，包括有： [0016] 步骤一、构建人脸三维深度学习网络，计算每个训练样本的高频‑深度映射图，然 后将每个训练样本的彩色人脸二维图像和高频‑深度映射图同时输入人脸三维深度学习网 络中进行训练； [0017] 步骤二、使用彩色摄像头拍摄获得待测人脸的彩色人脸二维图像，然后将待测人 脸的彩色人脸二维图像输入训练后的人脸三维深度学习网络，输出获得待测人脸的三维点 云坐标； [0018] 步骤三、根据待测人脸的彩色人脸二维图像和三维点云坐标kaiyun体育下载官网，计算三维人脸特征 向量，然后将待测人脸的三维人脸特征向量和注册库中已注册人脸的三维人脸特征向量进 行对比，从而识别待测人脸的人员信息。 [0019] 人脸注册时，可以利用3d传感器准确记录其三维信息，并生成三维人脸特征向量， 最后将注册人脸的三维人脸特征向量存入注册库中。 [0020] 步骤一中人脸三维深度学习网络的具体结构构建如下： [0021] 基于tensorflow框架实现，并采用编码‑解码(即encoder‑decoder)结构：在 encoder部分中，包含1个卷积层、7个残差层，从而可以将输入的250*250*3的人脸二维图像 转变为16*16*1024的特征图；在decoder部分中，设置9个反卷积层，从而可以将特征图转变 为250*250*1的三维深度图，再通过三维深度图和点云之间固定的转换关系，将三维深度图 转变成三维点云输出，卷积层和反卷积层核的大小均为4，激活函数采用Softpluskaiyun.com。这样，当 输入250*250*3的彩色人脸二维图像后，人脸三维深度学习网络的输出是250*250的三维点 云坐标(共62500个)。 [0022] 值得一提的是，在训练人脸三维深度学习网络时，本发明可以通过计算每个训练 样本的高频‑深度映射图，并将每个训练样本的彩色人脸二维图像和高频‑深度映射图同时 输入人脸三维深度学习网络中进行训练，从而使得训练后得到的模型参数中，人脸图像中 的一般特征(即人脸中比较普通、难以用来进行识别的特征)的权重降低，个性特征(即人脸 中比较有个性、有助于准确识别的特征)的权重提高，显著提高人脸识别的准确性。如图2所 示，计算任一训练样本X的高频‑深度映射图，可以进一步包括有： [0023] 步骤11、对训练样本X的彩色人脸二维图像进行傅里叶频谱变换，从而获得训练样 本X的频谱图； [0024] 步骤12、从训练样本X的彩色人脸二维图像上提取若干关键点，所述关键点可以是 眉毛、眼睛、鼻子、嘴巴、面部轮廓等，然后从训练样本X的频谱图上读取每个关键点的频谱 值，并据此计算高通滤波函数的截断值D ，D 是所有关键点的频谱值的平均值； 0 0 [0025] 步骤13、设定高通滤波函数，并将训练样本X的频谱图通过高通滤波函数以获得滤 波后的高频图，高通滤波函数设置如下： 其中，D(u，v)是训练样 本X的频谱图上坐标(u，v)的频谱值，n是阶次常数，取2或者4，H(u，v)是滤波后得到的频谱 值；如此可以有效的除去低频信息，并获得所需要的高频信息； 5 5 CN 113963420 A 说明书 3/3页 [0026] 步骤14、将训练样本X的高频图进行反向傅里叶变换，从而获得高频彩色人脸二维 图像； [0027] 步骤15、将高频彩色人脸二维图像中每个点的亮度值和阈值比对kaiyun官方网站，并将高于阈值 的亮度值替换成深度值：判断每个点的亮度值是否高于阈值，如果是，则从训练样本X的三 维点云中读取该点的三维坐标，并将所读取的三维坐标转化成深度值，然后将该点的亮度 值替换成深度值；如果否，则继续判断下一个点，当比对完所有点后，所获得的高频彩色人 脸二维图像即是训练样本X的高频‑深度映射图。其中，训练样本X的三维点云可以使用深度 相机采集训练样本而得到，阈值可以根据实际业务需要而设置，例如20。 [0028] 如图3所示，步骤三中kaiyun.com，根据待测人脸的彩色人脸二维图像和三维点云坐标，计算 三维人脸特征向量，可以进一步包括有： [0029] 步骤31、将待测人脸的二维图像进行人脸检测、裁剪、对齐后，转化成浮点型矩阵， 然后计算对应的二维图像特征向量，所述二维图像特征向量是大小为512的一维向量； [0030] 步骤32、根据待测人脸的三维点云坐标，以鼻尖为坐标原点，以双眼连线为横轴方 向x，以鼻尖和嘴唇中间连线为纵轴方向y，建立笛卡尔xyz直角坐标系，从而得到人脸三维 点云矩阵，然后计算对应的三维点云特征向量，所述三维点云特征向量是大小为3*512的三 维向量； [0031] 步骤33、设置权重因子，将二维图像特征向量和三维点云特征向量进行融合kaiyun官方网站，融合 后得到的特征向量即是三维人脸特征向量，其中，二维人脸特征、x方向特征、y方向特征、z 方向特征的权重因子可以分别设置为：0.5、0.17、0.17、0.16。 [0032] 步骤三中，将待测人脸的三维人脸特征向量和注册库中任一已注册人脸的三维人 脸特征向量进行对比，可以进一步包括有： [0033] 步骤A1、计算待测人脸的三维人脸特征向量A和已注册人脸的三维人脸特征向量B 之间的余弦相似度，其计算公式可以是： 其中，A ·B表示向量A和B的点 积，A表示向量A的L2范数kaiyun体育下载官网，B表示向量B的L2范数； 2 2 [0034] 步骤A2、计算待测人脸和已注册人脸的余弦距离：dist(A，B)＝1‑cos(A，B)，余弦 距离越大，则表示二者之间的相似性越低，并据此判断待测人脸是否是已注册人脸。 [0035] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精 神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。 6 6 CN 113963420 A 说明书附图 1/3页 图1 7 7 CN 113963420 A 说明书附图 2/3页 图2 8 8 CN 113963420 A 说明书附图 3/3页 图3 9 9

　　3、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰kaiyun.com、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。

　　4、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

　　三年级下册英语Lesson 14 Would you like some soup.pptx

　　原创力文档创建于2008年，本站为文档C2C交易模式，即用户上传的文档直接分享给其他用户（可下载、阅读），本站只是中间服务平台，本站所有文档下载所得的收益归上传人所有。原创力文档是网络服务平台方，若您的权利被侵害，请发链接和相关诉求至 电线) ，上传者