毕业设计演示-面向实体展览的多模态沉浸式交互系统设计与实现

随着虚拟现实、人工智能等数字技术的发展，现代人机交互正从基于键盘、鼠标的输入范式向融合多种感知通道的沉浸式交互形式演进。然而，当前实体展览中的公共交互设备还存在交互方式趋同、缺乏情感反馈、体验深度不足等问题。
针对上述问题，本文设计并实现了一个面向实体展览的多模态沉浸式交互系统。系统采用感知-理解-反馈三层星型架构，包含基于 DeepAgents 框架的智能体和 TCP 服务端、MediaPipe 客户端、Unity 客户端以及 Raspberry Pi 客户端五个子项目。感知层负责手势识别和面部表情数据采集，理解层以智能体为决策中心，反馈层由虚拟场景渲染和基于 Raspberry Pi 与 WS2812B 可编程 LED 灯阵协同组成。各模块间通过自定义 TCP 通信协议实现消息传输与指令转发，形成统一的分布式交互框架。为验证框架能力，本文基于情感化设计思路，围绕自我认知、人际边
界与知识接纳的命题，进一步开发了配套交互应用《回声之境》，呈现了完整的交互链路。
本系统探索了以智能体为认知核心的展览交互范式，实现了虚实双重输出的协同反馈机制，为构建具备情感连接与虚实联动的零训练部署的轻量化展览交互方案提供了可行的技术方案与设计参考。

关键词： 多模态交互；游戏引擎；智能体；情感化设计；实体展览