代表成果 | An Intelligent Multimodal Dictionary for Chinese Character Learning：多模态智能汉字学习字典

浏览次数：           文章来源：人工智能实验室           发布时间：2022-05-26

---

　　该论文利用多模态大规模预训练模型，实现汉字字典中文本释义与图片释义之间的跨模态检索，同时提供字形演变的书法展示图及其微课讲解视频，最终实现在微信小程序上，现已完成一定规模的资源制作。

　　

　　在汉字学习中，单字的识别、多义的理解、正确的组词与记忆对学习者来说都是诸多的挑战，而字典作为有效的汉字学习工具，其中的文字释义又较为简单且抽象。有研究表明，图片与文本双通路的模式可以有效的帮助学习者理解与记忆。因此，本研究设计了一个多模态识字字典，支持文本和单字图像两种输入方式，以及文本、图像和视频三种输出形式。除新华字典可检索到的文本信息外，用户还可以通过由多模态大规模预训练模型构建的跨模态检索机制，查询汉字每个文本释义相对应的图片释义。同时，字典还提供了拓展学习的部分，利用篆、隶、草、行、楷五书体字的书法图片展示汉字的演变过程，并提供微课视频进行讲解，讲解的内容包括汉字的字形及演变解析、本义与引申义用法示例等。

　　

　　

　　图1 小程序用户界面

　　

　　该研究成果已获得学术与工业界的初步认可。文章已被今年International Conference on Artificial Intelligence in Education (AIED-2022)会议正式接收。同时，该成果参加由北京智源主办的“2021悟道之巅·AI创新应用大赛-悟道活动评选”，荣获大赛“人气奖”。该比赛自2021年8月启动，意在鼓励参赛者应用大规模预训练模型在健康医疗、教育学习、社交生活、效率工具、环境自然等领域产生有落地价值的创新应用成果。

 

　　

　　图2 荣誉证书

　　相关阅读：
北师大高精尖中心人工智能实验室多篇论文被AIED-2022接收

　　https://mp.weixin.qq.com/s/qUgIKXSIXV-o62ULr2_x-w