《表1 具身行为与离身语义所构成的交互语法中的局部示例对应》

  提示：宽带有限、当前游客访问压缩模式

本系列图表出处文件名：随高清版一同展现

《具身与离身认知在多模态交互环境下的交互语法研究》

1. 获取 高清版本忘记账户？点击这里登录

1. 下载图表忘记账户？点击这里登录

智能体的使用情景兼具图形用户界面GUI和语音用户界面VUI等多模态的交互环境，需要通过具身交互的交互行为和离身交互的语义的设计，以及可信赖人工智能建立起人与智能体之间的信任关系。智能体通过触觉行为的具身交互和视觉听觉语义的离身交互，针对感知到的用户内隐需求，利用知识图谱的预测关联，找到符合人类社交智能以及具身认知的交互行为语句，再映射具体行为输出。人通过多通道多感知与真实世界进行交互，进而产生具身认知，所以映射到人工智能下的交互设计需要通过多模态的交互方式进行相应感官通道的匹配。相比传统的交互方式，多通道交互能够合理分配和使用用户的有效资源（视觉、听觉等），充分利用各设备、通道和交互方式的互补性，通过多个非精确信息流进行整合可以完全表达交互目的从而提高交互的自然性和灵活性。多模态交互的输出方式除视觉、语音外还可以充分利用体态语言行为通道进行表达。这种通道的好处在于通过发送更多信息而无须增加已有通信机制的负担，便于增加用于觉察情景的数据通道带宽，可利用扩展的体态语言通道预防通信错误，为人类智能与人工智能的交互行为方法提供新的多模态交互模式。具身行为与离身语义所构成的交互语法中的局部示例对应见表1。具身交互行为与离身交互语义的部分对应关系见图6。