《全民数字表单：健康数据录入的整合多模态大语言模型智能体系统》

本文介绍了一种名为“我的医疗问卷”的系统，旨在解决数字健康时代中由于技术不熟练或感官受损等原因导致的数字表单填写难题。该系统由斯坦福大学等机构联合开发，基于大语言模型GPT-4驱动，通过整合语音、触摸和视觉三种模态实现无缝交互，使不同能力水平的用户能够独立完成复杂的健康评估。系统设计强调模态间的平等与互补性，当某一模态遇到问题时，用户可以平滑切换至其他模态继续操作而不中断流程。此外，为了提高准确性与用户体验，研究团队还进行了严格的提示工程优化，并将任务分解为答案分类与生成回复两个子任务来处理复杂对话场景。这项工作对于促进健康公平及降低医疗服务接入门槛具有重要意义。