通讯稿:暨南大学华文学院60周年院庆学术报告之二十
发布者： 发布时间：2013-12-30 阅读： 952
——语音多模态研究及应用
华文学院研究生会 王虹骄
2013年12月27日下午3点，北京大学中文系教授，博士生导师，国家社科基金重大项目首席专家孔江平先生莅临我院，在办公楼309做了一场名为“语音多模态研究及应用”的讲座，讲座由曾毅平教授主持。
孔教授首先通过了一个小故事介绍了中国古代语音学的研究，紧接着以语言产生的三个过程作为导入。整场讲座共分为五个主要部分：言语发声研究、言语发音研究、言语腭位研究、言语唇形研究和言语呼吸研究，最后还简要介绍了语言与心理和指电压研究。每个部分都分别从研究意义、目的、领域、方法和实际应用等多方面进行了讲解，并结合新的研究方法对各项研究的发展做了介绍。
在言语发声部分，孔教授结合不同的声音和声带振动图片，展示了不同声带振动形式下的不同类型的嗓音，并对这些嗓音做了细致的介绍。通过对这些样本的分析和处理，可以得出多种参数，用于嗓音评价。通过研究各种参数的组合，可以合成各种各样的声音，通过分析普通话声调特征，可以提取出不同的参数，模拟出四声并应用于教学。还可以做出词句发音的视觉模型用于听障人士的的发音恢复教育。
言语发音的研究主要有X光和核磁共振两种方式，各有优劣。通过对普通话的X光录像进行处理，可以得出许多样本，从而构建出汉语语音学习系统的动态模型，用于留学生的汉语教学；还可对各个调音器官和部位进行分析建模，用于聋哑儿童发音学习的视觉反馈等等。孔教授指出，目前的模型只能做出二维图像，三维图像是将来的目标。
言语腭位的研究已由早期原始的上色拍照发展到了今天的电子腭位，可以更好的观察舌腭接触，进而成为语言发音教学（主要对象是留学生，用于辅音发音）的工具，也可用于腭裂儿童的术后语言康复，目前国内这个行业还是空白。
言语的唇形研究主要通过录像采集数据，再进行计算和测试得出参数，进一步分析和提取，建立唇形模型，这对汉语中圆唇和展唇的区分很有帮助。也可绘制汉语普通话的唇形图谱和用于三维唇形数据的采集。这项研究对圆展唇的学习、聋哑儿童的唇读教学和司法刑侦极具意义。
言语呼吸与句法结构、停顿和韵律密切相关，不同语言的呼吸不同。人的呼吸在韵文的朗读上差别很小，而在散文上却很大，而且汉语既有声调又有语调，进行呼吸研究，有助于留学生的语调和朗读教学。还可以对中国口传文化做出虚拟展示，有助于了解其中的呼吸差异，例如对怒江白族不同抖喉呼吸的模拟展示。
本场讲座了展示了语音研究的新成果，也介绍了一些新的研究方法和手段。通过采集、处理样本，提取参数和建模，语音研究已由传统的听觉向视觉转化，也从静态研究转向了动态。此外，结合普通话声韵调的协同研究也是语音研究的一个新方向。这些研究成果对汉语的语言教学，残疾人的言语治疗以及口传文化的记录和研究有许多应用价值，对医学和语言学学科的丰富和发展也意义重大。