公众号
关注微信公众号
移动端
创头条企服版APP

CodeSwitch:构建AI外语教练,实现类真人练习口语沟通

3053

CodeSwitch是一组在语言和科技交界处创新的产品团队,成员来自字节跳动、LinkedIn、卡内基梅隆大学、康奈尔大学、哥伦比亚大学。队长王宇当前就读康奈尔大学计算机专业研究生,在此前曾在一家创业公司担任产品经理。

王宇和团队成员都熟悉掌握多门外语和方言,他们对语言学习的热爱转化为了AI创新的动力。

11.png

CodeSwitch团队路演中,左为王宇,右为陈轶陶

48小时Hackathon挑战,开发AI外教学英语

王宇在14岁时就前往美国读高中。英语不熟练,身边也没有人跟他说话,为将口语能力提升至母语水平,王宇选择通过跟Uber司机进行对话练习,而他的朋友则选择和心理医生交流。

不仅是他们,全球有15亿人把英语作为第二生活、工作语言,但因为缺乏口语对话经历,很多人的英语沟通能力有限。区别于文字交流,口语沟通依赖多说多练,而且不同地区的人有不同的口音和用词习惯,如何地道地表达也是个学习难题。

正是有过切身体会,让王宇团队萌生出通过AI模拟真人训练的想法。通过AI模拟外教进行口语训练,可以随时随地边聊边练,花费也比请真人外教便宜20倍。

王宇团队带着这个创意来到魔搭create@AI Hackathon。在48小时开发挑战中,他们通过特殊的语料和声音数据集对大模型进行训练,现场完成了产品的Demo。

调优后的CodeSwitch可以还原真人语音语调,告别机械式的语音回复,仿佛在和真人对话。内置盲听、文字和翻译功能选择,满足不同学习需要。为了让用户学习更地道的外语表达,CodeSwitch还加入了Copilot能力,可以根据语境提示用户如何用地道的表达来回复。

王宇表示:“我们这个产品,可以让用户跟着AI特朗普练习口语。”

2.jpeg3.jpeg

AI实现口语化“边聊边练”,产品落地应用潜力丰富

相比市面上的苹果siri、Chat Voice GPT,王宇认为CodeSwtich最大的差异化在于语言交互的逻辑

CodeSwitch旨在帮助用户提升外语沟通能力,而非做问答百科。只有真正实现AI人格和语境的对应,才能更好地帮助用户提升外语沟通能力。因此产品交互的重心在于,如何让用户和AI外语教练真正“聊起来”。CodeSwitch基于“跟谁说、说什么、怎么说”三个核心问题来构建产品Demo。

为了训练模型,除了公开的语言模型数据集,他们还引用了大量的公开采访作为语言数据,可以在构建AI外教过程中,最大程度上帮助AI还原人物性格,还能根据语境进行口语化回复。王宇在路演现场演示了用户与AI特朗普练习对话的过程,真实还原了特朗普说话的语音语调,用户仿佛在和真人对话。

大赛评委认为,CodeSwitch尚在初期阶段就已经展现出明显的落地应用潜力,尤其是教育场景;在未来的迭代中也有无限的可能性,例如与数字人进行结合等。

CodeSwitch独特的AI语言学习解决方案,也引起了现场多家投资机构的关注和跟进。

王宇期望着未来产品能真正走向商业化,帮助每一个想要学习外语沟通的用户。通过这次大赛,他们的想法实现了0到1,而当下最重要的是获得更多用户的反馈,进一步打磨CodeSwitch产品。

关于魔搭Create@ AI Hackathon:

国内有很多优秀的开源模型资源,如何寻找和匹配适合自己的开源模型和数据集,对于很多AI创业者来说也是个头疼的问题。

魔搭社区作为国内最大的开源模型社区,汇聚各领域最先进的机器学习模型,可以为CodeSwitch这样的AI创业团队提供模型探索、体验、推理、训练、部署和应用的一站式服务。对于资源有限的AI创业者来说,可以选择基于开源大模型和数据集进行调优和训练,以低成本完成产品迭代。

对于这次比赛,王宇也给出了非常高的评价:“我此前参加过一次海外的Hackathon比赛,觉得那是这个领域的天花板,这次回国参加魔搭Create@AI Hackathon,感受到国内也有如此高水准的赛事。”

AI的创新仍在继续,魔搭社区也欢迎更多AI创业者和开发者加入,为AI的模型和应用添砖加瓦,共“搭”新世界。

4.jpeg从左至右为:创新工场联合CEO&兼管理合伙人汪华、王宇、阿里云副总裁、阿里云计算平台事业部负责人汪军华



声明:该文章版权归原作者所有,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与本网联系。
您阅读这篇文章花了0
转发这篇文章只需要1秒钟
喜欢这篇 0
评论一下 0
评论
试试以这些内容开始评论吧
登录后发表评论
阿里云创新中心
×
#热门搜索#
精选双创服务
历史搜索 清空

Tel:18514777506

关注微信公众号

创头条企服版APP