1.跨模态深度融合创新

通过Transformer模型学习不同模态间的关联。具体实施方式为：运用Transformer融合文本、语音、面部表情等信息，以此提高情绪识别的精准度。

模型参考：BERT + Transformer

数据集：Emo - DB, IEMOCAP

 

2.动态情绪建模创新

采用时序建模来捕捉情绪随时间产生的变化。具体操作是：借助LSTM或GRU处理面部表情、语音等模态的动态信息，进而增强对情绪转变的捕捉能力。

模型参考：LSTM

数据集：AffectNet

 

3.自监督学习强化多模态创新

通过自监督学习对每个模态的特征提取进行优化，降低对标签的需求。具体做法为：在无标签的情况下，先利用自监督学习训练各个模态，之后再开展情绪识别工作。

模型参考：SimCLR + ResNet

数据集：VGGFace2, VoxCeleb

 

4.强化学习优化情绪分类创新

运用强化学习对情绪识别策略进行优化。具体表现为：通过强化学习依据情绪反馈调整识别策略，从而提高识别的准确度。

模型参考：DDPG + CNN

数据集：AffectNet

 

5.多模态情绪检测与情感强度预测创新

除情绪分类外，还进行情感强度预测。具体做法为：将情绪强度作为连续值进行回归分析，以此增加情绪识别的细粒度。

模型参考：BERT + CNN

数据集：IEMOCAP, CREMA - D

 

6.模态间互助式学习创新

利用模态间的互助学习提升各自的特征提取能力。具体实施方式为：通过互相“指导”或信息共享，优化每个模态的识别效果。

模型参考：Cross - Modal Attention

数据集：VoxCeleb, Affective - 3D

 

📘另外，我整理了十篇关于多模态的最新论文及代码，方便大家参考。