日本語タイトル#
ドメインプロンプトと並列注意を通じた会話における一般化可能なエンゲージメント推定
英文タイトル#
Generalizable Engagement Estimation in Conversation via Domain Prompting and Parallel Attention
日本語摘要#
正確なエンゲージメント推定は適応型人間 - コンピュータ相互作用システムにとって不可欠ですが、異なるドメイン間でのロバストな展開は、ドメイン間の一般化能力の低さと複雑な相互作用ダイナミクスのモデリングの課題によって妨げられています。これらの問題に対処するために、私たちは DAPA（ドメイン適応型並列注意）を提案します。これは一般化可能な会話エンゲージメントモデリングのための新しいフレームワークです。DAPA は、入力の前に学習可能なドメイン特有のベクトルを追加することでドメインプロンプトメカニズムを導入し、データの出所にモデル条件を明示的に設定してドメイン認識の適応を促進しながら、一般化可能なエンゲージメント表現を保持します。相互作用の同期を捉えるために、このフレームワークは、参加者間の反応状態（前向き BiLSTM）と予測状態（後向き BiLSTM）を明示的に整列させる並列クロス注意モジュールも統合しています。広範な実験により、DAPA は複数の異文化および異言語ベンチマークで新しい最先端の性能を確立し、特に NoXi-J テストセットでは、強力なベースラインモデルに対して一致性相関係数（CCC）が 0.45 の絶対的な改善を達成しました。私たちの方法の優位性は、MultiMediate'25 の多領域エンゲージメント推定チャレンジで 1 位を獲得したことによっても確認されました。
英文摘要#
Accurate engagement estimation is essential for adaptive human-computer interaction systems, yet robust deployment is hindered by poor generalizability across diverse domains and challenges in modeling complex interaction dynamics.To tackle these issues, we propose DAPA (Domain-Adaptive Parallel Attention), a novel framework for generalizable conversational engagement modeling. DAPA introduces a Domain Prompting mechanism by prepending learnable domain-specific vectors to the input, explicitly conditioning the model on the data's origin to facilitate domain-aware adaptation while preserving generalizable engagement representations. To capture interactional synchrony, the framework also incorporates a Parallel Cross-Attention module that explicitly aligns reactive (forward BiLSTM) and anticipatory (backward BiLSTM) states between participants.Extensive experiments demonstrate that DAPA establishes a new state-of-the-art performance on several cross-cultural and cross-linguistic benchmarks, notably achieving an absolute improvement of 0.45 in Concordance Correlation Coefficient (CCC) over a strong baseline on the NoXi-J test set. The superiority of our method was also confirmed by winning the first place in the Multi-Domain Engagement Estimation Challenge at MultiMediate'25.
文章ページ#
ドメインプロンプトと並列注意を通じた会話における一般化可能なエンゲージメント推定
PDF 取得#
抖音でさらに素晴らしいコンテンツを見るには QR コードをスキャンしてください