使用深度卷积神经网络根据面部表情和身体运动测量抑郁症严重程度gydF4y2Ba

突出了gydF4y2Ba

-多模态网络更有效地检测抑郁症。gydF4y2Ba

提出了一种评价抑郁严重程度的新指标。gydF4y2Ba

-患者表现出更多悲伤的表情和更小范围的身体运动。gydF4y2Ba

简介gydF4y2Ba

由于重度抑郁症(MDD)的高患病率、高复发率、高致残率和高病死率，它正成为全球疾病负担的主要问题(gydF4y2Ba1gydF4y2Ba)．据世界卫生组织(WHO)统计，全球约有3.5亿人患有抑郁症，每年约有100万人因抑郁症自杀(gydF4y2Ba2gydF4y2Ba)．根据全球疾病负担调查，以残疾调整生命年计算，抑郁症在精神疾病负担中所占比重最大，约占40.5% (gydF4y2Ba3.gydF4y2Ba，gydF4y2Ba4gydF4y2Ba)．在中国31个省份进行的最新流行病学调查显示，抑郁症的终生患病率为6.8% (gydF4y2Ba5gydF4y2Ba)．抑郁症严重影响生活质量(gydF4y2Ba6gydF4y2Ba)，给家庭结构和整个社会带来沉重的精神和经济负担。gydF4y2Ba

到目前为止，抑郁症的病因尚不明确。目前只证实抑郁症与生理、心理和社会环境因素有关。抑郁症的临床诊断主要是根据医生的面谈结合一些心理评定量表进行综合评估。然而，目前在中国等发展中国家，心理卫生专业人员极度短缺，导致抑郁症的专业医疗服务难以获得，症状无法及时评估，抑郁症复发的几率大大增加。gydF4y2Ba

基于大数据分析的人工智能(AI)的兴起为医生和患者带来了巨大的进步。随着21世纪第四次工业革命的兴起，人工智能越来越多地被应用于精神疾病的研究(gydF4y2Ba7gydF4y2Ba)．机器学习模型可以为患者提供抑郁症发作的准确预测(gydF4y2Ba8gydF4y2Ba- - - - - -gydF4y2Ba14gydF4y2Ba)．诊断模型包括年龄测量、简化的精神状态检查评分和结构成像。治疗反应模型包括结构和功能连通性的措施。gydF4y2Ba

深度表征特征，如身体动作、手势、眼球运动和周期性肌肉运动，可用于抑郁症的生物学分析。分析包括对人类行为的识别、判断、跟踪和理解(gydF4y2Ba15gydF4y2Ba- - - - - -gydF4y2Ba17gydF4y2Ba)．一个人可以通过某些形式的肌肉收缩产生特定的表情，这些表情可以作为情感、意图、欲望和其他信息的载体。gydF4y2Ba18gydF4y2Ba，gydF4y2Ba19gydF4y2Ba)．深度卷积神经网络(CNN)利用这些生物信号来识别抑郁症，并取得了很有前景的结果(gydF4y2Ba20.gydF4y2Ba- - - - - -gydF4y2Ba29gydF4y2Ba)．这样，基于ai的症状严重程度评估解决方案可能用于抑郁症患者的评估和辅助诊断。通过对精神障碍进行个体和客观的预测，我们可以提高患者诊断和治疗决策的准确性。人工智能在抑郁症整个病程中的应用将深刻影响抑郁症的评估、预测和治疗(gydF4y2Ba30.gydF4y2Ba)．gydF4y2Ba

以往的人工智能模型大多集中在患者某一特征的单模态信息上。近年来，一些研究表明，多模态信息比单模态数据具有更好的预测性能(gydF4y2Ba20.gydF4y2Ba，gydF4y2Ba31gydF4y2Ba)．在本文中，我们提出了一个基于面部表情和身体动作的多模态深度卷积神经网络(CNN)模型来评估抑郁症的严重程度。该模型包括两个模块:一个是表情识别模块，用于预测患者7种面部表情的概率，用表情熵表示面部表情的复杂性;另一个是动作识别模块，用于定位患者18个身体关节的位置，用动作熵表示身体运动的复杂性。根据模型输出的表情和动作特征，推导出一个行为抑郁度(BDD)来量化抑郁的严重程度，并将其作为我们模型的检测结果。我们的研究结果显示，BDD与抑郁自评量表(SDS)、焦虑自评量表(SAS)、汉密尔顿抑郁量表(HAMD)的Pearson相似性超过74%，说明BDD可以根据患者的表情和动作特征，有效地衡量患者当前的抑郁状态及其变化趋势。gydF4y2Ba

材料与方法gydF4y2Ba

本研究采用前瞻性和定性研究方法。为了获得患者面部表情和动作的连续变化过程，我们选取了接受任何一种心理治疗和/或药物治疗的重度抑郁症患者，并在每周的症状评估中对整个过程进行40-60分钟的录像记录。从受试者库中随机选择2例患者接受系统认知行为治疗(CBT)，共7次，并在心理治疗访谈的整个过程中收集视频数据。每次心理评估都在固定的房间进行，心理治疗在安静的治疗室进行，灯光柔和，确保谈话不受干扰。在心理评估过程中，镜头对准了坐着的受试者的面部和全身。在心理治疗过程中，治疗师与受试者坐成90-120°的角度，摄像机镜头对准受试者的面部和全身。我们使用的是分辨率为2560*1440/30fps的Shadow Giant便携式4K相机进行录制，所有视频均以“mov”或“mp4”格式保存在硬盘中。处理视频数据的计算机服务器采用Intel Xeon 3.20GHz CPU, 500G SSD, 2T HHD, 32GB RAM, 2个GTX 1080Ti GPU。gydF4y2Ba

我们使用行为熵(BE)来描述患者面部表情和动作特征的离散度。然后，我们建立了基于BE的行为抑郁程度(BDD)来代表我们评估的抑郁程度。gydF4y2Ba

主题gydF4y2Ba

2020年8月至2021年1月，在中南大学湘雅第二医院和湖南省脑科医院招募连续住院和门诊治疗至少2周的重度抑郁症患者。每位患者同时由一位资深精神病医生和一位主治精神病医生进行诊断。入选标准如下:(i)年龄在16至50岁之间的所有参与者;(ii)所有参与者均符合DSM-IV MDD标准;(iii)其汉密尔顿抑郁评分对抑郁24项总分不低于18分;(iv)所有参与者在试验前至少1个月未服用任何抗抑郁药和抗精神病药。排除标准包括(i)由已知物质或一般医疗状况继发的心境恶劣、躁狂、轻躁狂、双相情感障碍或抑郁症史;(ii)药物过敏或临床显著的实验室异常;(iii)主动自杀意念、共病性精神障碍、紧张症特征或严重的精神运动障碍，使访谈困难;(iv)滥用药物; (v) a history of brain injury or other severe medical comorbidity, such as stroke, diabetes, or cardiovascular disease; (vi) current medication that might influence mood or the central nervous system; and (vii) pregnancy or breastfeeding.

本研究得到了中国中南大学湘雅第二医院医学伦理委员会的批准。每位患者每周至少进行两次评估，并为每次评估保存视频记录。所有患者在参与研究前均提供书面知情同意书。gydF4y2Ba

测量gydF4y2Ba

对所有患者进行评估gydF4y2Ba通过gydF4y2Ba在基线和出院前或每周症状评估时进行以下问卷调查。每次心理治疗结束后，对两名患者进行评估。gydF4y2Ba

抑郁自评量表gydF4y2Ba

SDS由20个项目组成，可用于评估抑郁症症状的严重程度和治疗过程中患者症状的变化。SDS采用1-4分的四级评分方法(无或偶尔、有时、经常、总是)。得分低于50分的人没有抑郁症，50 - 59分代表轻度抑郁症，60-69分代表中度至重度抑郁症，70分或以上代表重度抑郁症。gydF4y2Ba

焦虑自评量表(SAS)gydF4y2Ba

SAS与SDS类似，由20个项目组成，从1到4分为4个等级(没有或偶尔、有时、经常、总是)。得分低于50表示不焦虑，50 - 59表示轻度焦虑，60-69表示中度至重度焦虑，超过70表示重度焦虑。gydF4y2Ba

汉密尔顿抑郁量表(HAMD)gydF4y2Ba

汉密尔顿抑郁量表采用0-4的五分制(无、轻度、中度、严重、非常严重)。HAMD总分能更好地反映疾病的严重程度。症状越严重，总分越高，35分以上为重度抑郁，18-35分为轻度或中度抑郁，8分以下为无抑郁症状。gydF4y2Ba

模型分析gydF4y2Ba

采用多模态深度CNN识别患者的面部表情和身体运动范围，获得患者的表情和动作特征。然后用模型预测结果(BDD)与SDS、SAS、HAMD总分的差值来判断模型的预测精度。gydF4y2Ba

图1gydF4y2Ba显示了所提议的模型框架的概述。对视频数据进行预处理后，分别输入表情识别模块和身体识别模块。表情模块包括人脸检测和人脸表情识别。我们使用开源Python包DBFacegydF4y2Ba^1gydF4y2Ba用于人脸检测。然后我们构建了一个深度卷积神经网络(gydF4y2Ba表1gydF4y2Ba)，并使用面部表情识别2013数据集(Fer2013)训练面部表情识别模块，gydF4y2Ba^2gydF4y2Ba其中包含约3万张面部图像，每张图像都被标记为七大通用面部表情之一(gydF4y2Ba32gydF4y2Ba(愤怒、厌恶、恐惧、高兴、悲伤、惊讶、中性)。在动作模块中，我们使用开源Python包tf-pose- estimate，gydF4y2Ba^3.gydF4y2Ba其中包括人体区域识别、自适应层和基于TensorFlow的姿态估计(gydF4y2Ba33gydF4y2Ba)．人体18个节点的位置由该模块输出。最后，我们的模型输出代表患者行为抑郁程度的BDD。gydF4y2Ba

面部表情识别gydF4y2Ba

面部表情识别可用于筛查精神疾病，评估药物治疗的有效性，以及评估精神疾病的进展和严重程度(gydF4y2Ba34gydF4y2Ba，gydF4y2Ba35gydF4y2Ba)．在我们的深度CNN中，我们对输入的48*48像素的图像进行了卷积、池化、激活等操作，最后添加了一个完整的连接层来输出患者的7个面部表情。同时，为了防止模型过拟合，我们增加了dropout层用于丢弃。网络结构如图所示gydF4y2Ba表1gydF4y2Ba．我们使用Fer2013数据集训练CNN网络，在面部表情识别任务中达到70.71%的准确率，超过了人类65%的准确率(gydF4y2Ba36gydF4y2Ba)．在使用DBFace从心理治疗访谈视频中检测出患者的面部后，我们再使用训练好的模型来估计患者的表情，并获得患者面部在每一帧视频中出现7个表情的概率。gydF4y2Ba

最后，我们通过以下方法引入表达式熵:gydF4y2Ba

H(X)为表情熵，xi为第i个表情，p(xi)为面部表情识别模型计算出的第i个表情出现的概率。表达熵反映了患者表达的离散度。值高说明患者表情丰富活泼。反之，数值越低，说明患者的表情相对简单，抑郁程度越严重(gydF4y2Ba16gydF4y2Ba，gydF4y2Ba37gydF4y2Ba)．gydF4y2Ba

肢体动作识别gydF4y2Ba

在计算机视觉领域，人体姿态估计是指通过图像分析，确定图像中人体不同部位的位置和方向等定位信息的过程(gydF4y2Ba38gydF4y2Ba)．人体姿态估计是人类行为识别的基础(gydF4y2Ba39gydF4y2Ba)．在这个模块中，我们应用tf-pose-estimation来定位视频中目标人物的18个关节的位置。然后根据两幅图之间关节点的位置变化，我们利用两幅图中同一关节点的两个坐标位置，用公式计算运动幅度:gydF4y2Ba

D为关节点的运动幅度，(xgydF4y2Ba_0gydF4y2BaygydF4y2Ba_0gydF4y2Ba)和(x)gydF4y2Ba_1gydF4y2BaygydF4y2Ba_1gydF4y2Ba)表示两幅图中同一连接点的位置。gydF4y2Ba

最后，我们引入作用熵:gydF4y2Ba

${\mathrm{DgydF4y2Ba}}_{\mathrm{zgydF4y2Ba}}＝gydF4y2Ba{\sum gydF4y2Ba}_{\mathrm{jgydF4y2Ba}＝gydF4y2Ba\mathrm{0gydF4y2Ba}}^{\mathrm{17gydF4y2Ba}}\mathrm{DgydF4y2Ba}gydF4y2Ba（gydF4y2Ba{\mathrm{ygydF4y2Ba}}_{\mathrm{jgydF4y2Ba}}）gydF4y2Ba$G(Y)是作用熵YgydF4y2Ba_jgydF4y2Ba为第j个关节点，D(ygydF4y2Ba_jgydF4y2Ba)为肢体识别模块计算出的第j个关节点的运动幅度。gydF4y2Ba

行为抑郁程度(BDD)gydF4y2Ba

我们将表达式和动作的熵线性叠加为BE:gydF4y2Ba

F(X, Y)为BE, H(X)为表达式熵，G(Y)为动作熵，X为模型输出的表达式特征，Y为模型输出的动作特征，λ为拟合参数。然后从0到1扫描λ，调整BDD中表达熵和动作熵的比例，找到使BDD与SDS、SAS和HAMD最匹配的最佳参数λ。BE描述患者表情和动作的紊乱程度。在这里，我们假设表达熵越大，患者的表情就越活泼(gydF4y2Ba16gydF4y2Ba，gydF4y2Ba37gydF4y2Ba)，动作熵越大，患者的动作范围越大，抑郁程度越轻(gydF4y2Ba40gydF4y2Ba)．gydF4y2Ba

然后引入行为抑郁度(behavioral depression degree, BDD)来表示模型预测的患者抑郁程度:gydF4y2Ba

B(X, Y)表示模型预测的患者BDD, F(X, Y)表示BE。gydF4y2Ba

结果gydF4y2Ba

一般情况gydF4y2Ba

本研究共纳入164例符合纳入标准的重度抑郁症患者，年龄均为17-35岁，受教育年限为12-18年。随机选取2例患者(患者1和患者2)进行7期系统心理治疗，数据用于BDD评分分析。gydF4y2Ba

患者1gydF4y2Ba

患者1为20岁未婚女大学生。她抱怨工作太多，压力大，抑郁了至少半年。2020年7月到湖南省脑科医院就诊，诊断为“抑郁症”，给予“阿戈黑素”50 mg/Qn治疗。近1个月后，在主治医生的建议下，她开始接受心理治疗。当病人来接受心理治疗时，她正在上大学三年级。她需要同时平衡学习任务、实习和考研准备。她感受到了巨大的压力，经历了与男友分手、祖母去世等充满压力的生活事件。gydF4y2Ba

患者2gydF4y2Ba

患者2为18岁女性，未婚，目前在读高中四年级。她在半年前抱怨睡眠质量下降，难以入睡，早醒，无缘无故想哭，容易激动产生自杀意念。2020年10月，她在父亲的陪同下前往湖南省脑科医院，被诊断为“重度抑郁症”。患者父亲因不愿意住院而被告知有自残和自杀的风险，并给予“盐酸氟西汀胶囊”20 mg/Qd治疗。第二天，在主治医生的建议下，病人开始接受心理治疗。gydF4y2Ba

在整个研究期间，两名患者的药物类型和剂量保持一致。gydF4y2Ba

患者SDS、SAS、HAMD总分gydF4y2Ba

选择的病人gydF4y2Ba

如gydF4y2Ba图2一个gydF4y2Ba，患者1的SDS总分从第一次治疗结束时的63分下降到第7次治疗结束时的45分，低于临床阈值(>50)。SDS指数下降28.6%。SAS作为一种自评量表，与SDS具有很强的相关性。患者1的SAS总分从第一次治疗结束时的48分下降到第7次治疗结束时的40分，低于临床阈值(>50)。SAS指数下跌16.7%。患者1的HAMD总分从第一次治疗结束时的26分下降到第7次治疗结束时的9分，属于轻度抑郁。患者1 HAMD指数下降65.4%。gydF4y2Ba

患者2的SDS总分由基线时的73分下降至第7次治疗结束时的61分，较基线略有下降16.4%，但仍高于临床阈值(>50)。患者2 SAS总分由基线时的58分下降至第7次治疗结束时的51分，较基线略有下降12.1%，但仍高于临床阈值(>50)。患者2的HAMD总分由基线时的39分下降到第7次治疗结束时的23分，属于中度抑郁。患者2的HAMD指数较基线下降41.0%。gydF4y2Ba

所选两例患者的表达特征gydF4y2Ba

图3一gydF4y2Ba患者1和患者2在第二次治疗期间的表达分布。上阴影面积越大，情绪状态越好，下阴影代表坏情绪。我们可以看到悲伤和愤怒表情的比例明显高于其他表情。gydF4y2Ba

如gydF4y2Ba图3 bgydF4y2Ba在整个7个疗程的治疗过程中，患者1悲伤和愤怒的表情比例较高，但逐渐降低，随着治疗的进行患者的情绪状态有明显改善。同时，患者2的悲伤表情在整个心理治疗中所占的比例更大。在整个治疗过程中，悲伤的比例逐渐降低，说明患者2的情绪状态得到了一定程度的改善。gydF4y2Ba

所选两例患者的行动特征gydF4y2Ba

如gydF4y2Ba图4一gydF4y2Ba，我们比较了治疗过程中第二阶段两例患者肢体的振幅。0-17代表鼻子、脖子、右肩膀、右手肘、右手腕、左肩膀、左手肘、左手腕、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝、右眼、左眼、右耳、左耳。患者1每个关节的平均振幅为0.0084，患者2每个关节的平均振幅为0.0042。此外，患者2的关节活动范围明显低于患者1。对于图片中的空关节(如患者2的右脚踝和左脚踝)，由于受试者的运动，相机未能捕捉到相应的图片。gydF4y2Ba

图4 bgydF4y2Ba显示两例患者在整个治疗过程中各肢体节点的运动幅度变化。患者1除第7次治疗外，其余关键点的运动幅度均较小，这与以往研究中抑郁症状严重程度与运动减少的相关性一致。患者2在整个心理治疗过程中运动幅度保持稳定，无明显的波峰和波谷。患者2的运动幅度一般较小，这与患者2的低表达熵和高悲伤表达频率相一致。gydF4y2Ba

所选两例患者BDD输出与SDS、SAS、HAMD总分之间的Pearson相关性gydF4y2Ba

图5gydF4y2Ba分别显示了模型BDD输出与临床验证的SDS、SAS和HAMD评分之间的Pearson相似性。我们通过调整参数λ来调整BDD中表达熵和动作熵的比例。在所有测试案例中，我们发现当λ = 0.94时，BDD与各变量之间的平均Pearson相似度可以达到74%以上。这揭示了我们的测量模型的有效性。gydF4y2Ba

当λ = 0.94时，我们可以分别计算患者1和患者2的BDD。如gydF4y2Ba图2 bgydF4y2Ba，患者1的BDD从基线时的0.35持续下降到治疗结束时的0.23，下降34.3%。总体趋势与患者1的每个临床验证变量一致。患者2的BDD从基线时的0.47下降到治疗结束时的0.35。第7次治疗后，患者2因自杀念头消失，BDD下降25.5%。总体趋势与患者2的每个临床验证变量一致。此外，患者2的BDD比患者1低，因为患者2的抑郁症严重程度比患者1严重得多。患者1和患者2的BDD趋势与患者1和患者2的临床验证指标呈正相关，Pearson相似性为74%。gydF4y2Ba

在所有患者中验证BDDgydF4y2Ba

在全部164例治疗病例中，通过对多个治疗数据的患者病情分析，我们发现他们的病情都有一定程度的改善，但不同改善程度的患者表现数据不同。患者平均年龄为25.2岁，标准差为6.32，平均受教育年限为14.8年，标准差为2.72。当λ = 0.94时，BDD与各变量的Pearson相似度可达74%以上，如图所示gydF4y2Ba图6gydF4y2Ba．gydF4y2Ba

基线时，患者的平均SDS、SAS和HAMD分别为64.6、53.9和25.9。在治疗结束时，他们分别为53,45.2和19.6。基线时，患者的平均BDD为0.419。治疗结束时，患者BDD平均值为0.334。BDD水平都降低了约20%。gydF4y2Ba

讨论gydF4y2Ba

以往的AI检测模型通常关注患者的生物信号，如血压、脉搏、脑电图等生理生化信息(gydF4y2Ba41gydF4y2Ba)，或只考虑单模态的外观信息，例如面部表情(gydF4y2Ba42gydF4y2Ba，gydF4y2Ba43gydF4y2Ba)．在这篇文章中，我们提出了一个多模态深度卷积神经网络来检测抑郁症的严重程度。与现有的多模态模型相比(gydF4y2Ba20.gydF4y2Ba，gydF4y2Ba31gydF4y2Ba)，我们的模型有以下改进:(i)我们整合了面部表情信息，这是评估抑郁症严重程度的重要特征;(ii)我们构建了BDD指标来量化抑郁症的严重程度，并取得了良好的表现;(iii)我们发现，从不同模式中提取的信息，当以适当的比例进行整合时，可以显著提高评价的准确性，这在以往的研究中未见报道。gydF4y2Ba

我们根据重度抑郁症患者的面部表情和身体运动，开发了BDD来衡量抑郁症状的严重程度，并分析了这些变化。我们的研究表明，BDD与患者的SDS、SAS和HAMD评分一致，Pearson相似性为74%。随着治疗的进展，心理治疗后患者BDD有不同程度的下降。说明治疗后患者整体抑郁有一定程度的改善。gydF4y2Ba

虽然BDD和患者症状均显示患者抑郁症状有所改善，但分析显示患者悲伤表达的概率仍显著高于其他6种表达。这可能是因为抑郁症的面部表情比抑郁症的内在体验需要更长的时间来改善。也可能是由于抑郁症的病因病机复杂，如遗传、性格、认知类型、早年生活环境、社会环境等因素，导致部分个体对抑郁症的“易感性”高于其他人(gydF4y2Ba44gydF4y2Ba)．gydF4y2Ba

与此同时，抑郁症状的严重程度与面部表情之间存在联系。症状越严重，表情越悲伤，微笑越少(gydF4y2Ba37gydF4y2Ba)．随着抑郁情绪的改善，患者的抑郁表情和身体活动范围可相应改善(gydF4y2Ba45gydF4y2Ba)．面部表情是个人情绪的直接表现。对于抑郁症患者来说，情绪低落和面部表情单一是主要症状。焦虑、愤怒、痛苦和其他由压力引起的情绪都是通过面部表情来表达的(gydF4y2Ba46gydF4y2Ba)，从而使面部表情成为评估抑郁状况的主要特征。gydF4y2Ba

我们测定了两名患者BDD中面部表情和身体运动的比例，发现当λ为0.94时，BDD有效地匹配了患者的量表趋势，与SDS、SAS和HAMD评分的Pearson相似性超过74%。提出BDD能有效反映患者抑郁状况的变化，与患者心理量表的变化趋势具有高度的一致性。同时，我们验证了BDD在所有164例患者中都能有效地拟合SDS、SAS和HAMD的趋势。这证明了拟合模型在评估抑郁状况方面的有效性。在人与人之间的信息交流过程中，面部表情可以传达55%的信息，而38%的信息来自语音、语调和言语节奏，只有7%的信息来自语言内容本身(gydF4y2Ba47gydF4y2Ba)．这就解释了为什么我们的模型有很大比例的表达式熵。gydF4y2Ba

未来，基于深度学习算法研究抑郁症心理治疗过程中患者面部表情和运动幅度的变化，可为抑郁症患者不同治疗方式的智能评估和监测奠定基础。gydF4y2Ba

结论gydF4y2Ba

综上所述，我们提出了一种结合表情和动作特征的多模态深度学习方法。本文提出的BDD通过观察MDD患者的面部表情和肢体动作，可以有效地评估其抑郁严重程度。gydF4y2Ba

这项技术在心理健康治疗中有重要的应用。它可以监测抑郁症患者在心理治疗过程中的症状，准确评估患者与治疗师之间的互动。同时，基于患者的心理评估、面部特征、动作特征等数据，我们可以开发可靠的深度学习评估模型，对患者的多维数据进行训练和处理，实时准确评估MDD患者的心理变化，指导治疗。此外，本研究为抑郁症研究提供了新的范式，有效解决了精神疾病患者面临的医疗资源短缺问题。gydF4y2Ba

虽然本文提出的模型已经证明了其在抑郁症检测中的有效性，但算法仍然存在一定的局限性。首先，表情识别和姿态估计的精度有待进一步提高。例如，在未来的工作中，2D的姿态估计算法可以被3D算法取代。其次，我们的多模态模型只包含两个特征:面部表情和身体动作。在未来的工作中，可以考虑更多的特征，如语音语调、眼睛变化、患者的微动作等。我们希望这项工作能激励其他人建立基于人工智能的工具来理解心理健康障碍，甚至超越抑郁症。gydF4y2Ba

数据可用性声明gydF4y2Ba

支持本文结论的原始数据将由作者提供，毫无保留地提供。gydF4y2Ba

道德声明gydF4y2Ba

本研究得到了中国中南大学湘雅第二医院医学伦理委员会的批准。所有患者在参与研究前均提供书面知情同意书。gydF4y2Ba

作者的贡献gydF4y2Ba

DL:概念化，方法论，软件，形式分析，写作，初稿。BL:数据收集和写作-审查和编辑。形式分析和手稿修改。GL:资源。GY:可视化和写作-评论和编辑。DQ, YQ和OL:写作-评论和编辑。黄:验证。QY:调查。SS:稿件修改和编辑。XL:可视化。 XT: review and editing. JS and YC: supervision and project administration. HL: conceptualization, methodology, software, and manuscript revision. All authors contributed to the article and approved the submitted version.

资金gydF4y2Ba

国家科技部科技重大专项(No. 2021ZD0201900)、国家自然科学基金(No. 12090052、11874310)、湖南省重点研发计划(No. 2021SK2029)资助。gydF4y2Ba

利益冲突gydF4y2Ba

作者声明，这项研究是在没有任何商业或财务关系的情况下进行的，这些关系可能被解释为潜在的利益冲突。gydF4y2Ba

出版商的注意gydF4y2Ba

本文中所表达的所有主张仅代表作者，并不代表他们的附属组织，也不代表出版商、编辑和审稿人。任何可能在本文中评估的产品，或可能由其制造商提出的声明，都不得到出版商的保证或认可。gydF4y2Ba

脚注gydF4y2Ba

1. ＾gydF4y2Bahttps://github.com/dlunion/DBFacegydF4y2Ba
2. ＾gydF4y2Bahttps://www.kaggle.com/datasets/deadskull7/fer2013gydF4y2Ba
3. ＾gydF4y2Bahttps://github.com/tryagainconcepts/tf-pose-estimationgydF4y2Ba

参考文献gydF4y2Ba