2019 Bar _ Aaai ICCN

Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis

Adresse de la thèse：https://arxiv.org/abs/1911.05544

Modèle proposé par le texte-Réseaux de corrélation typiques interactifs(ICCN),Le modèle utilise le produit extérieur de la paire de caractéristiques et l'analyse de corrélation canonique de la profondeur(DCCA)Pour générer des caractéristiques d'intégration multimodales utiles.

Les caractéristiques textuelles sont généralement meilleures que les caractéristiques non textuelles dans les tâches d'analyse émotionnelle ou de reconnaissance émotionnelle.,Il y a plusieurs raisons：

1. Le texte lui - même contient plus d'informations émotionnelles.

2. L'information visuelle ou auditive peut parfois confondre les tâches d'analyse émotionnelle.Par exemple,“La colère”Et“Excitation”Il peut y avoir une représentation sonore similaire(Volume élevé et tonalité élevée),Bien qu'ils appartiennent à des émotions opposées.La même chose.,“Triste”Et“Dégoût”Peut avoir des caractéristiques visuelles différentes,Bien qu'ils soient tous négatifs.

3. Les algorithmes d'analyse de texte ont une histoire plus riche,Et bien étudié.

Sur la base de cette observation,La relation cachée entre l'apprentissage de l'information linguistique et non linguistique est un point clé de l'analyse multimodale des langues..Pour ce faire, on peut étudier différentes façons de combiner les caractéristiques multimodales..

Joindre les caractéristiques audio et vidéo au même message texte en même temps , Permet une meilleure compréhension de l'information non textuelle ,À l'envers., L'information non textuelle peut aussi donner plus de sens à l'information textuelle . Il est donc raisonnable d'étudier la corrélation profonde entre les caractéristiques audio textuelles et les caractéristiques vidéo textuelles . Où l'audio textuel et la vidéo textuelle sont respectivement le produit externe du texte et de l'audio et le produit externe du texte et de la vidéo .

Pour une meilleure association entre la vidéo textuelle et l'audio textuel , Utiliser une analyse de corrélation typique (CCA).Et pourtantCCA Ne peut apprendre que les changements linéaires , Et l'analyse de corrélation canonique de la profondeur (DCCA) Utiliser un réseau neuronal profond pour permettre CCA Traiter les relations non linéaires .Sur cette base,Utilisé dans cet articleDCCA Associer l'audio textuel à la vidéo textuelle .

Dans le modèle présenté ici,,DCCAPar deuxCNNEtCCAComposition des couches,Parmi euxCCA La couche se compose de deux projections et d'une CCA Composition de la fonction de perte . Les caractéristiques audio et vidéo textuelles passent par CNN Entrée après traitement CCACouche,CNN Et le poids projeté passe CCA Optimisation de la fonction de perte .Par la formation,Deux.CNN Pour extraire des caractéristiques utiles de la matrice du produit extérieur .

Enfin,Deux.CNN La projection de la sortie est liée à l'insertion de mots dans la phrase texte originale , Comme intégration multimodale finale , Peut être utilisé pour des tâches en aval telles que l'analyse émotionnelle .

Voici commentCCAEtDCCA, Ensuite, nous présenterons ce qui est proposé dans cet article. ICCNModèle

1、Analyse de corrélation typiqueCCA& Analyse de corrélation canonique en profondeur DCCA

CCA .Est une méthode Statistique multivariée qui utilise la corrélation entre les paires de variables combinées pour refléter la corrélation globale entre deux ensembles d'indicateurs .CCA Utilisé pour trouver un sous - espace linéaire avec une corrélation maximale entre deux entrées .

Compte tenu de deux ensembles de vecteurs$X\in R^{n_1\times m}$Et$Y\in R^{n_2\times m}$,Parmi eux$m$ Représente le nombre de vecteurs ,CAA Apprendre deux transformations linéaires $A\in R^{n_1\times r}$Et$B\in R^{n_2\times r}$,De faire$A^{T}X$Et$B^{T}Y$ La plus grande pertinence .Oui.$X$Et$Y$ La covariance de $S_{11}$Et$S_{22}$,$X$Et$Y$ La covariance croisée de $S_{12}$.CCAL'objectif de：
$$\begin{gathered} A^{\ast },B^{\ast }=\underset{A,B}{\mathrm{argmax}}corr(A^{T}X,B^{T}Y) \\ =\underset{A,B}{\mathrm{argmax}}\frac{A^T{S}_{12}B}{\sqrt{A^T{S}_{11}A}\sqrt{B^T{S}_{22}B}} \end{gathered}$$
La solution de l'équation ci - dessus est fixe , Peut être résolu de plusieurs façons . Une façon est de laisser $U,S,V^T$ Devenir une matrice $Z=S_{11}^{-\frac{1}{2}}{S}_{12}{S}_{22}^{-\frac{1}{2}}$Décomposition de la valeur singulière de(SVD).Alors,$A^{\ast },B^{\ast }$ La corrélation typique maximale avec le total est ：
$$\begin{gathered} A^{\ast }=S_{11}^{-\frac{1}{2}}U \\ {B}^{\ast }=S_{22}^{-\frac{1}{2}}V \\ corr(A^{\ast T}X,B^{\ast T}Y)=trace(Z^{T}Z{)}^{\frac{1}{2}} \end{gathered}$$
CCA Une des limites est qu'il ne tient compte que des transformations linéaires .DCCA Apprentissage de la transformation non linéaire à l'aide d'une paire de réseaux neuronaux .Jean$f,g$ Représente deux réseaux neuronaux indépendants ,DCCA L'objectif est d'optimiser $f,g$Paramètres pour${\theta }_f,{\theta }_g$,Faire$f$Et$g$ Corrélation typique entre les résultats ,Exprimé en$F_X=f(X;{\theta }_1)$Et$F_Y=g(Y;{\theta }_2)$, Vous pouvez trouver deux transformations linéaires $C^{\ast },D^{\ast }$ Maximiser .DCCALe but de：
$$\begin{gathered} {\theta }_f^{\ast },{\theta }_g^{\ast }=\underset{{\theta }_f,{\theta }_g}{\mathrm{argmax}}CCA(F_X,F_Y) \\ =\underset{{\theta }_f,{\theta }_g}{\mathrm{argmax}}corr(C^{\ast T}{F}_X,D^{\ast T}{F}_Y) \end{gathered}$$
Pour la mise à jour$f,g$Paramètres pour, Les pertes typiques associées à la mesure doivent être calculées et rétropropagées .Mise en place$R_{11},R_{22}$Pour$F_X,F_Y$Covariance of,$F_X,F_Y$ La covariance croisée de $R_{12}$.Mise en place$E=R_{11}^{-\frac{1}{2}}{R}_{12}{R}_{22}^{-\frac{1}{2}}$.Mise à jour$F_X,F_Y$ Les pertes associées typiques peuvent être définies comme suit: :
$$CCALoss=-trace(E^{T}E{)}^{\frac{1}{2}}$$
Réseau$f(X;{\theta }_f),g(Y;{\theta }_g)$ Les paramètres de CCA Perte à mettre à jour ( C'est - à - dire maximiser la corrélation générale typique ).

2、Réseaux de corrélation typiques interactifsInteraction Canonical Correlation Network(ICCN)

L'image ci - dessus estICCNStructure globale du modèle, Le processus de rectification du modèle est décrit ci - dessous. .

Mise en place$H_t\in R^{d_t}$ Intégration de caractéristiques textuelles au niveau du corpus （UtiliserBERTEtInferSentObtenir）,$H_v\in R^{d_v\times l_v},H_a\in R^{d_a\times l_a}$ Pour les séquences d'entrée audio et vidéo （UtiliserCOVAREPEtFacet）.

Un réseau neuronal convolutif unidimensionnel est utilisé pour extraire la structure locale des séquences audio et vidéo , La sortie du réseau neuronal de convolution unidimensionnelle est exprimée comme suit: $H_{a1}\in R^{d_{a1}\times l_a},H_{v1}\in R^{d_{v1}\times l_v}$.

Ensuite, la sortie du réseau neuronal convolutif unidimensionnel est transmise LSTM Pour le traitement des séquences audio et vidéo ,ChaqueLSTM L'état caché final de est utilisé comme caractéristique audio et vidéo au niveau du corpus ,Exprimé en$H_{a2}\in R^{d_{a2}},H_{v2}\in R^{d_{v2}}$.

Après avoir obtenu les caractéristiques de chaque niveau modal de corpus , Une matrice de caractéristiques audio textuelles et une matrice de caractéristiques vidéo textuelles sont disponibles pour $H_t,H_{v2},H_{a2}$ Le produit extérieur de ：
$$\begin{gathered} H_{ta}=H_t\otimes H_{a2},H_{ta}\in R^{d_t\times d_{a2}} \\ {H}_{tv}=H_t\otimes H_{v2},H_{tv}\in R^{d_t\times d_{v2}} \end{gathered}$$
De la matrice du produit extérieur $H_{ta},H_{tv}$ Extraire des caractéristiques utiles , Utilisation du réseau neuronal convolutif comme extracteur de caractéristiques , Matrice de convolution externe comme entrée dans le réseau neuronal de convolution bidimensionnelle pour extraire les caractéristiques , La matrice de produit externe est remodelée en vecteur unidimensionnel par le réseau neuronal de convolution .Et passerCCA Perte de calcul de la couche , Sa fonction de perte est une perte dépendante typique telle que définie ci - dessus ：
$$CCALoss=-trace(E^{T}E{)}^{\frac{1}{2}}$$
1D-CNN、LSTMEt2D-CNN Poids réutilisé CCA Perte de Rétropropagation mise à jour .Deux.2D-CNNsApprendre de$H_{tv}$Et$H_{ta}$Caractéristiques extraites, Afin de maximiser leur corrélation typique . Voici l'ensemble du réseau interactif typique （ICCN）Le pseudo - Code de.

ICCN La méthode est un extracteur de fonctionnalités . Pour tester ses performances , Un classificateur supplémentaire en aval est également nécessaire . Texte obtenu 、 Caractéristiques monomodales de la vidéo et de l'audio ,Ça marche.ICCN Pour apprendre les caractéristiques audio textuelles $K_{ta}$ Et des fonctionnalités vidéo textuelles $K_{tv}$. Intégration multimodale finale en audio textuel 、 Concaténation du texte original et des caractéristiques vidéo basées sur le texte ,Exprimé en$[K_{ta};H_t;k_{tv}]$.$[K_{ta};H_t;K_{tv}]$ Peut être utilisé comme entrée dans un classificateur en aval , Comme la régression logique ou le perceptron multicouche , Pour compléter la tâche de l'analyse multimodale des émotions .

L'expérience

InCMU-MOSIEtCMU-MOSEILes résultats de（Analyse émotionnelle）：

InIEMOCAPLes résultats de（Reconnaissance émotionnelle）：