《多媒体接口设计》求取 ⇩

引言 多媒体接口的趋势1

目录1

0.1 为什么需要多媒体系统？2

0.2 多媒体的目标：更好的通讯手段2

0.2.1 计算机对计算机的通讯2

0.2.2 人对人的通讯3

0.2.3 计算机与人之间的通讯4

0.3.1 多媒体5

0.3.2 编码（encodings）和表达（representations）5

0.3 术语5

0.3.3 方式（mode）和模态（modality）6

0.3.4 多通道6

0.4 多媒体的现状6

第一部分 模型、隐喻和范例9

第一部分的引言11

Ⅰ.1 引言11

Ⅰ.2 单一的和混合的媒体格式之特性12

Ⅰ.3 应用领域12

Ⅰ.4 信息和用户的构造12

1.2.1 语音超级媒体HyperPhone14

1.2 多媒体的科研项目14

第一章 随时间变化的多媒体的可用性问题14

1.1 引言14

1.2.2 多媒体音乐台（kiosk）15

1.2.3 教学用超级媒体WITS16

1.2.4 用户的任务17

1.3 随时间变化的媒体之特性17

1.3.1 通讯模型17

1.3.2 灵活的交互动作和速度调整（pacing）18

1.3.3 上下文敏感性问题18

1.4.1 Hyper Phone19

1.4 多媒体应用环境的体系结构19

1.4.2 WITS21

1.4.3 Kiosk24

1.5 可用性问题24

1.5.1 颗粒性（granularity）25

1.5.2 复杂性（complexity）25

1.5.3 执行链路26

1.6 对随时间变化的接口的改进29

1.5.4 领会用户需要29

1.6.2 创作30

1.6.1 语音的直接处理30

1.6.3 为Hyper Phone增加智能（见注7）31

1.7 有关的工作35

1.8 小结36

第二章 活动多媒体文档的模型38

2.1 引言38

2.2 文档结构38

2.3 EtherPhone系统的多媒体能力39

2.4.1 音频注释和编辑40

2.4 多媒体注释40

2.4.2 视频注释和编辑42

2.4.3 注释模型方面的经验42

2.5 路径模型43

2.5.1 原本型文档系统43

2.5.2 路径模型方面的经验46

2.6 小结以及今后的工作47

3.1.2 背景48

3.1.1 主题48

3.1 引言：一个正在研制中的多媒体接口48

第三章 多媒体接口设计中的问题：媒体集成和接口中介＊48

3.1.3 术语49

3.2 媒体集成49

3.2.1 媒体“居住区（Ghettos）”49

3.2.2 媒体偏见（Biases）50

3.2.3 跨媒体的链路52

3.3.1 超级文本模型方面的问题53

3.3.2 指南的作用：通过着眼点（point of view）来集成53

3.3 指南53

3.3.3 特征化54

3.3.4 “指南”如何才能支持用户54

3.3.5 期望的目标56

第四章 钢琴训练中的人机接口57

4.1 引言57

4.2 系统综述57

4.3 内容和媒体的分离59

4.4 演示系统59

4.4.2 演示构造程序的优点61

4.4.1 其它特性61

4.5 对话62

4.6 学生模型和超级媒体63

4.7 小结65

第五章 多媒体与链接现实的艺术67

5.1 引言67

5.2 程序的目标67

5.4 和使用者之间的交互作用68

5.5 屏幕设计68

5.3 程序的使用者68

5.6 戏剧的应用70

5.7 教学设计71

5.8 小结72

第六章 用声音表达湍流：科学声频化一例73

6.1 引言和背景73

6.2 数据表达与消息的对比74

6.3 流体中的湍流74

6.4 在湍流研究中利用声音75

6.4.1 表达75

6.4.3 先例和感知能力77

6.4.2 声音消息77

6.5.1 描述流体特征的声音78

6.5 湍流的声音参数78

6.5.2 描述运动特征的声音79

6.5.3 描述涡旋特征的声音80

6.5.4 能量的消散80

6.6 声音消息81

6.6.1 声符：对表达的扩展和增强81

6.6.3 声符和起表达作用的声音：设计指南82

6.7 先例和可听度：同时使用表达用的声音和声音消息时的模型82

6.6.2 声符：提供数据表达方式所不能提供的信息82

6.7.1 结构83

6.7.2 我们的系统所依据的音乐发展历史83

第二部分 构成和组合85

第二部分的引言87

第七章 使用手的运动轨迹跟踪和语音识别的交互技术89

7.1 引言89

7.1.1 进行中的协合工程工作89

7.1.2 在协合接口中的混合各种模态91

7.2.2 三维轨迹跟踪92

7.2 多种模态的混合92

7.2.1 人与人对话的一些例子92

7.2.3 增加语音识别93

7.3 用于计算机辅助设计的输入技巧94

7.3.1 使用手的三种方法94

7.3.2 一个实验性的手势加语音的系统97

7.3.3 三维设计的某些考虑97

7.4 小结100

8.1 人机接口中的限制102

8.2 人机交互作用风格102

第八章 多模态通讯：文本和手势的集成102

8.2.1 自然语言交互过程对HCI来说“自然”吗？103

8.2.2 直接处理“直接在屏幕上吗？”103

8.2.3 形式语言104

8.3 手势：只是自然语言与直接处理的组合还是更进一步？104

8.3.1 HCI中为什么要用手势？104

8.3.2 自然语言和指点的手势105

8.4 在组合的HCI系统中的手势105

8.5 手势接口的应用106

8.5.4 手势和校正符号107

8.5.3 手势和手写印刷体字母107

8.5.1 计算机盲人用户的手势接口107

8.5.2 手势驱动的中文和日文文本编辑程序107

8.6 将来的方案：语义学的鼠标器／笔记本109

第九章 根据不精确的多模态输入进行与应用无关的目标选择110

9.1 引言110

9.2 模型111

9.3 实现113

9.4 小结114

10.1.1 背景115

10.1 引言115

第十章 语音系统中的多模态交互115

10.1.2 语音识别系统116

10.1.3 语音的语言系统所提出的特殊问题117

10.2 语音语言系统的设计原则119

10.2.1 用户可塑性119

10.2.2 交互协议的风格120

10.2.3 纠错用的多种模态124

10.2.4 响应时间127

10.2.5 任务特定的对话结构129

10.2.6 多模态交互作用130

10.3 小结131

第十一章 探索数据分析用的立体声和层面声音的产生（注）133

11.1 引言133

11.2 数据的图解（iconographic）显示133

11.3 用声音表达数据136

11.4 有关的研究工作136

11.5 立体声的声音显示137

11.6 层面声音的产生138

11.7 摘要139

第三部分 前提和使之实现的技术141

第三部分的引言143

第十二章 可管理的媒体间编码（MIME）的推理适当性145

12.1 引言145

12.2 表达、用户计算和媒体146

12.3 可管理的媒体间编码（MIME）147

12.3.1 现有系统中的某些MIME148

12.3.2 怎样才能断定用户已作了连接？149

12.4.1 任务150

12.4 利用MIME的推理适当性150

12.4.2 系统151

12.4.3 研究154

12.4.4 问题和答案156

12.5 讨论161

12.6 小结163

13.1.1 工具箱（Toolkits）167

13.1.2 分类学（Taxonomies）167

13.1 引言167

第十三章 输入设备的设计空间＊167

13.1.3 性能研究168

13.2 分析性的设计框架168

13.3 生成设计空间168

13.3.1 基本移动词汇表169

13.3.2 组合操作符170

13.3.3 输入设备的设计空间171

13.4 设计空间中的测试点172

13.4.1 表达性172

13.4.2 有效性173

13.4.4 带宽174

13.4.3 足迹174

13.4.5 实例：用鼠标器和头戴式鼠标器显示三维信息环境中的选择176

13.5 结束语177

第十四章 多媒体接口的理解和合成功能的综合179

14.1 概述179

14.2 理解和合成的映射模型180

14.3 使用理解和合成功能的多媒体应用系统182

14.3.1 自动演示系统182

14.3.2 使用与说话者无关的语音识别的电话银行系统185

14.4 讨论193

第十五章 三维虚拟声显示195

15.1 引言195

15.2 为什么要用虚拟声显示195

15.3 三维虚拟声显示的经历198

15.3.1 心理声学的经历198

15.3.2 实现的方法200

15.4 NASA AMES的三维听觉显示项目204

15.4.1 实时系统：Convolvotron205

15.5 合成技术的心理物理学验证207

15.5.1 验证使用个性化HRTF的静止声源208

15.5.2 定位性能的声学要素210

15.5.3 无经验的收听者和非个性化的HRTF213

15.6 改进虚拟声显示：问题范围和研究课题216

第十六章 触觉和视觉：力显示中的一些问题＊219

16.1 “砂纸”系统219

16.1.1 为什么要产生纹理220

16.1.2 对粗糙度感知过程的实验研究221

16.1.3 纹理模拟起作用的证据222

16.1.4 如何建立模拟的纹理222

16.1.5 力显示要求实时的物理过程和动画能力223

16.1.6 可感觉材料的小片是一些物体224

16.1.7 环境应呈现出多大程度的物理过程真实性224

16.1.8 结论：进入较高一级的描述225

16.1.9 前景225

16.2 力显示的控制问题226

16.2.1 哪些方面会损坏感觉上的幻觉？226

16.2.2 阻抗控制理论226

16.2.3 产生感觉幻觉的方法227

16.2.4 连接不稳定性和人的手臂227

16.2.5 分析229

16.2.6 有关人手臂行为的两个难题232

16.2.7 结语232

第四部分 体系结构235

第四部分的引言237

第十七章 多模态和多媒体接口的体系结构品质和原则239

17.1 期望的结构品质239

17.2 当前与将来的体系结构标准240

17.3.1 统一访问的原则241

17.3 体系结构原则241

17.3.2 近于同构表达的折衷243

17.4 小结244

第十八章 人机交互作用和感知过程245

18.1 交互作用和感知过程245

18.2 自适应的直接处理246

18.2.1 推动力246

18.2.2 ADM系统的设计及其功能247

18.2.3 ADM的黑板系统248

18.2.4 黑板知识源249

18.3.1 推动力及概述251

18.3 听觉适应251

18.3.2 听觉的音乐模型252

18.3.3 声信号在ULS的分配253

18.3.4 用户性能标准254

18.4 自适应超级文本系统255

18.4.1 超级助手256

18.5 结束语257

第十九章 未来用户接口成分的“操作系统”259

19.1 概述259

19.2 嵌入功能的发展261

19.3 父控制262

19.4 共享可视显示262

19.5 调度输入事件264

19.6 共享用户接口小工具265

19.7 传递属性266

19.8 重使用成分266

19.9 规定成分间的连接268

19.10 保存和恢复成分268

19.11 增加新的成分类型269

19.13 结束语270

19.12 集成新的输入设备270

第二十章 高度图符化的接口271

20.1 引言271

20.2 MIT的视觉计算研究组271

20.2.1 Athena Muse271

20.2.2 Muse的操作环境272

20.3 表达272

20.3.1 控制接口273

20.3.4 复合型表达274

20.3.3 中间表达274

20.3.2 时间记号274

20.3.5 实现276

20.4 访问279

20.5 同步280

20.6 小结280

第二十一章 人机对话的组合模型283

21.1 引言283

21.2 组合视图284

21.2.1 用户接口及其特性285

21.2.2 用户接口组成成分的组合视图287

21.3 组合模型288

21.3.1 模型化原语289

21.3.2 组合规则291

21.3.3 变换292

21.3.4 其它规则292

21.4 组合模型和多媒体-多模态接口设计293

21.4.1 内容特性294

21.4.2 通道特性295

21.4.4 颗粒性特性296

21.4.3 时态特性296

21.4.5 定序特性297

21.4.6 协调特性297

21.4.7 其它特性298

21.4.8 作为多媒体多模态接口框架的组合模型298

21.5 实用的组合模型298

21.5.1 生成和修改299

21.5.2 集成和自然语言接口301

21.6 小结304

参考文献306