日本語タイトル#
音声を用いた多タスク LLM ベースのメンタルヘルス予測のためのマルチモーダルデジタル表現
英文タイトル#
Speech as a Multimodal Digital Phenotype for Multi-Task LLM-based Mental Health Prediction
日本語要約#
音声はメンタルヘルス状態に関する貴重な洞察を提供できる非侵襲的なデジタル表現ですが、通常は単一のモダリティとして扱われます。対照的に、私たちは患者の音声データをうつ病検出のための三モーダルマルチメディアデータソースとして扱うことを提案します。本研究では、音声生成テキスト、音響特徴点、音声バイオマーカーを統合したマルチモーダル環境における大規模言語モデルアーキテクチャに基づく音声ベースのうつ病予測の可能性を探ります。思春期のうつ病は重大な課題であり、自殺念慮や睡眠障害などの複数の障害と共存することがよくあります。これは、うつ病、自殺念慮、睡眠障害を同時に予測するマルチタスク学習（MTL）を私たちの研究に統合する追加の機会を提供します。また、複数の臨床インタラクションにおける時間的変化をモデル化する縦断的分析戦略を提案し、病状の進行を包括的に理解できるようにします。私たちが提案する三モーダル、縦断的 MTL アプローチは、Depression Early Warning データセットで評価されました。これは、各単一モーダル、単一タスク、非縦断的手法よりも高い 70.8% のバランス精度を達成しました。
英文要約#
Speech is a noninvasive digital phenotype that can offer valuable insights into mental health conditions, but it is often treated as a single modality. In contrast, we propose the treatment of patient speech data as a trimodal multimedia data source for depression detection. This study explores the potential of large language model-based architectures for speech-based depression prediction in a multimodal regime that integrates speech-derived text, acoustic landmarks, and vocal biomarkers. Adolescent depression presents a significant challenge and is often comorbid with multiple disorders, such as suicidal ideation and sleep disturbances. This presents an additional opportunity to integrate multi-task learning (MTL) into our study by simultaneously predicting depression, suicidal ideation, and sleep disturbances using the multimodal formulation. We also propose a longitudinal analysis strategy that models temporal changes across multiple clinical interactions, allowing for a comprehensive understanding of the conditions' progression. Our proposed approach, featuring trimodal, longitudinal MTL is evaluated on the Depression Early Warning dataset. It achieves a balanced accuracy of 70.8%, which is higher than each of the unimodal, single-task, and non-longitudinal methods.
PDF 取得#
抖音でスキャンしてさらに素晴らしいコンテンツを見る