一、项目介绍

《面向智能语音教学的汉语中介语语音多模态语料库研究》项目由语言资源高精尖创新中心特聘研究员、北京语言大学张劲松教授主持。项目于2017年4月立项，2021年5月开展结项工作。

智能语音教学技术作为一种计算机功能，能够部分模拟或替代老师的角色，帮助实施和完成与学生互动的语音教学工作。这种技术能够评价学生的发音质量，并以音视频并茂的形式描述偏误产生的原因，指明修正的方向、引导学生进行正音训练，是解决二语语音学习难题的有效途径，被认为是改善二语语音学习效果的最有潜力的方法。外国学生的不自然的汉语发音一般被统称为“洋腔洋调”，研究针对“洋腔洋调”发音的智能语音教学技术，对于提高汉语国际教育技术的现代化水平、促进汉语国际教育的发展有着重要意义。

本项目通过“人工智能+汉语国际教育”的先进手段来服务国际汉语教学。项目构建的“大规模汉语中介语多模态语音语料库”是利用智能语音纠正技术克服汉语学习中“洋腔洋调”问题的关键基础资源。该语料库充分考虑了智能语音教学技术研发及二语语音习得研究的需求，不仅能够满足技术研发所需要的大数据规模要求，也能满足二语语音习得研究所关注的语音要素多样性要求。除了语音声学数据，数据库中的听觉感知、发音生理EMA、口肌训练视频、发音器官视频动画等数据也为智能语音教学技术开辟了多模态语音教学技术新途径。

二、项目成果

（一）规范标准类

（1）音韵丰富的汉语中介语语音库收集文本

说明：语音库收集文本由 4 各部分组成， 第 1 部分为 1520 个单音节， 第 2部分为 284 音韵平衡双字词， 第 3 部分为 103 句音韵丰富短句， 第 4 部分为一个短篇故事。其中的音韵丰富录音文本，是通过语音学设计、计算机算法搜索再经人工校对而得。总句数为 103 句，总字数 1340，平均句长 13个字，能够涵盖所有的汉语声韵母基元、主要的二元音联、声调及几乎所有的三元调联。其用词等级为 HSK4 以下占 84%， HSK6 以下占 97%，从而有利于非汉语母语者的语音收录。篇章采用语音届广泛使用的《北风与太阳》一文。使用该录音文本， 我们构建了包含 894 名外国被试、 82 名中国被试的汉语中介语语音库。

（2）汉语中介语语音库偏误趋势标注规范

说明：语音偏误标记采用的是我们提出的“发音偏误趋势” PET 标记规范。相比较于传统的宽式或严式语音学标记方法， PET 标记的是偏误的趋势方向，而不是 IPA 所记录的发音静态位置或方法。这样做的优点有两个：一个是学生的语音在声学空间是连续分布的，既存在音素类别的错误（质变），也存在很多难以归属于另一个 IPA 音素类别的偏误（量变）。使用静态语音学标记的话就很难标记处在量变状态的偏误，也容易导致不同标注员的不一致性。另一个优点是基于 PET 标记，我们在偏误趋势的基础上就能够给出纠正发音偏误的教学反馈指导，从而有利于研发智能语音教学正音反馈技术。

（二）资源类

（1）汉语中介语语音库

说明：收录的中介语语音库话者总数为 894，来自 43 个国家和地区，话者数超过 10 人的有 16 个国家，超过 20 人的有 11 个国家，语音文件时长超过 400 小时。在已经完成的 I、 II 期数据库任务中，我们完成了 675 名不同母语背景的学习者数据语音学标注任务。语料库另外还收录了 82 名汉语母语者的录音数据，作为标准语音以供对比研究之用。

（2） 汉语作为第二语言习得的听知觉数据库

说明：针对汉语声调、声母（l/r, z、 c、 s/zh、 ch、 sh,b、 d、 g/p、 t、k ）、前后鼻韵母、焦点重音等习得难点问题的听知觉数据，被试来自中国、日本、韩国、巴基斯坦、越南、老挝、孟加拉、泰国、俄罗斯、意大利等 15个国家，外国被试总人数超过 300 名，中国被试 390 人次。

（3） 语音发音生理数据库及视频数据库

说明：收录了包含 4 名汉语母语者的语音和发音器官 EMA 数据库， 口肌训练视频库， 以及二维、三维动画的口腔发音视频库。本库的目的主要用于正音软件的视频反馈使用。

（4）多语种平行语料语音库

说明：以汉语常用 301 句为蓝本，收集了少量话者 17 国语言的平行语音语料，包括英文、日语、法语、德语、俄语、蒙古语、西班牙语、葡萄牙语、韩语、阿拉伯语、乌尔都语、印地语、马来语、泰语、越南语、孟加拉语、菲律宾语等。可用作 L1、 L2 的语音对比研究或作声学模型迁移学习使用。

（5）二语学习者语音发展语料库

说明：36 名 19 个母语背景的外国学生参加了为期 6 周的基于 SAIT 汉语APP 的语音学习任务，共收录 21 小时 2.8 万条语音数据，人均 780 条。这些数据能够反映这些学习者在学习期间的发音能力发展状况，可以用来从经时角度研究汉语语音习得的问题。

（6） 汉语智能语音教学 APP 软件—SAIT 汉语

说明：我们研发了一个基于移动互联网平台的汉语智能语音教学APP软件系统—SAIT 汉语， 提供了包括《尔雅中文》、《长城汉语》、《发展汉语》等 7 本教材的发音训练内容，基于课题组所研发的发音偏误检测和评估技术，可以实时报告声母、韵母、声调的错误，并以颜色、文字、声音、动画多模态形式给予正音反馈指导。

（三）技术类

本课题组围绕着大规模汉语中介语语音库构建以及智能语音教学技术研发开展了广泛且深入研究， 取得了多项创新性成果。举例有：

[1] 面向大规模中介语语音库的偏误趋势标注规范及标注方法

[2] 基于功能负载的音位分析方法

[3] 基于300ms短语音的话者调域估计技术

[4] 高鲁棒性共振峰估计技术

[5] 多模态汉语语音训练技术

[6] 韵律强度量化模型

[7] 偏误趋势声学模型及检测算法

[8] 声调及韵律模型

[9] 发音属性建模

[10] 语种识别技术等