日本語のタイトル#
チャットボットとの擬似社会関係を防ぐための応答とプロンプト評価
英文タイトル#
Response and Prompt Evaluation to Prevent Parasocial Relationships with Chatbots
日本語の要約#
AI エージェントとの擬似社会関係の発展は、人間の幸福に対して深刻な影響を及ぼし、場合によっては悲劇的な結果をもたらします。しかし、このようなダイナミクスを防ぐことは困難です。擬似社会的手がかりは、プライベートな会話の中で徐々に現れることが多く、すべての感情的関与が本質的に有害であるわけではありません。この課題に対処するために、最先端の言語モデルを再利用して作成されたシンプルな応答評価フレームワークを導入し、リアルタイムで進行中の会話における擬似社会的手がかりを評価します。このアプローチの実現可能性をテストするために、擬似社会的、阿諛奉承的、中立的な会話を含む 30 の対話からなる小規模な合成データセットを構築しました。5 段階のテストによる反復評価により、寛容な合意ルールの下で全ての擬似社会的対話を成功裏に特定し、誤報を避けることができました。検出は通常、最初の数回の交流内で行われます。これらの発見は、評価エージェントが擬似社会関係の予防に対する実行可能な解決策を提供できるという初期の証拠を提供します。
英文要約#
The development of parasocial relationships with AI agents has severe, and in some cases, tragic effects for human well-being. Yet preventing such dynamics is challenging: parasocial cues often emerge gradually in private conversations, and not all forms of emotional engagement are inherently harmful. We address this challenge by introducing a simple response evaluation framework, created by repurposing a state-of-the-art language model, that evaluates ongoing conversations for parasocial cues in real time. To test the feasibility of this approach, we constructed a small synthetic dataset of thirty dialogues spanning parasocial, sycophantic, and neutral conversations. Iterative evaluation with five stage testing successfully identified all parasocial conversations while avoiding false positives under a tolerant unanimity rule, with detection typically occurring within the first few exchanges. These findings provide preliminary evidence that evaluation agents can provide a viable solution for the prevention of parasocial relations.
文章ページ#
チャットボットとの擬似社会関係を防ぐための応答とプロンプト評価
PDF 取得#
QR コードをスキャンしてさらに素晴らしいコンテンツを見る