Lark / Yunque

云雀:多模态情感陪伴 Agent

云雀会同时理解你的文字、语音能量和面部表情,把多模态信号送入情绪模型,再由对话模型生成更贴近当下状态的回应。

情绪模型:MulT 对话模型:Qwen 实时音视频采集

多模态理解

文本、音频、视频会同步进入后端。表情、语音强度和文字语义会被统一映射成细粒度情绪状态。

主动回应机制

当你一段时间没有输入,但多模态状态发生变化时,云雀会根据最新分数主动发起一句轻量关心。

长期记忆

系统会为当天生成 AI 记,并保留你的用户日记,帮助云雀在后续对话里更连贯地理解你。

陪伴式反馈

情绪分数不会直接暴露给你,而是转化成更自然的回复语气、节奏和安抚方式。

进入后你可以开启摄像头和麦克风,也可以只通过文字与云雀交流。

云雀:多模态情感陪伴Agent

文本、音频、视频实时进入后端,多模态情绪模型输出细粒度状态分数,云雀再据此生成陪伴式回应。

模型加载中
未开启音视频权限
Agent 待命

情绪陪伴对话

通过文字、音频和视频三个模态,和云雀进行对话吧。

视频未启动 音频未启动
云雀
我已经准备好啦!你可以输入想和我说的话,我会结合多模态来回应你。

Author

项目作者信息

多模态情感陪伴 Agent 大创项目演示页。

作者:Irises 学院:计算机工程与技术学院 指导老师:---