
简介
该用户还未填写简介
擅长的技术栈
可提供的服务
暂无可提供的服务
本文介绍了医患沟通模拟系统前端开发中左侧滑动菜单的优化工作。针对UI交互中的高频闪烁和"死亡断层"问题,开发团队通过重构碰撞响应链、重写边界事件和组件化封装实现了平滑的菜单滑出/收回效果。采用蓝图接口和事件驱动模式解决了模块间通信问题,确保了系统的稳定性和扩展性。目前已完成核心交互功能开发,下一步将接入病历数据和AI问答接口,进一步丰富系统功能。这些优化为提升医学生的沉浸式沟通
本项目 研发面向医学教育的医患沟通模拟与评价系统,基于大模型实现智能交互、个性化病例模拟与评分,为医学生提供沉浸式医患沟通实训场景,旨在解决线下标准化病人资源稀缺的问题,提升医学生的医患沟通实操能力。本人负责UE5前端开发工作,包括语音输入/输出功能的实现,以及主场景、SEGUE评分面板、聊天框等UI面板的搭建。本周重点完成了医患交流面板的消息气泡功能,同时优化了部分UI,实现了整体UI的统一。
本文介绍了基于UE5引擎开发的医患沟通模拟系统关键技术实现。重点阐述了语音输入功能的技术重构方案:前端采用AudioCapture插件实现录音功能,通过自定义C++插件将音频转为二进制数据传输至后端;后端使用FastAPI框架接收音频路径,利用soundfile读取文件并通过Whisper模型实现语音转文字功能。系统UI界面经过全面优化,整合了语音/文本双输入模式,改进了主场景布局和功能面板设计。
本文介绍了基于UE5引擎开发的医患沟通模拟系统关键技术实现。重点阐述了语音输入功能的技术重构方案:前端采用AudioCapture插件实现录音功能,通过自定义C++插件将音频转为二进制数据传输至后端;后端使用FastAPI框架接收音频路径,利用soundfile读取文件并通过Whisper模型实现语音转文字功能。系统UI界面经过全面优化,整合了语音/文本双输入模式,改进了主场景布局和功能面板设计。







