网易有道CEO周枫：今天的商业模型就是未来的端侧模型
日前，网易有道CEO周枫在第八届瑞芯微开发者大会上发表主题演讲时表示，端侧模型应用前景广阔，展望未来，随着NPU、GPU技术进步，及模型架构优化，今天的商业模型就是未来的端侧模型。
当天，周枫在现场进行了以《AIGC在教育场景的应用新探索》为主题的演讲，深入剖析了AI技术在教育领域的最新动态以及AI未来应用前景。周枫指出，模型分为三类，一个是100B以上参数的超大模型，一个是5-100B参数的模型，很多人称为商业模型,还有小于5B的端侧模型。超大模型非常好用，但是对于一般商业公司来说很难自己去训练和部署。而5-100B参数的模型，很多行业的公司已经有能力去训练和运营这样的模型。随着成本降低，未来一两年会有更多公司有能力训练和部署自己的模型，所以被称为商业模型。
他说，不同场景的应用适合不同规模的模型，5B以下的端侧模型应用前景也非常广泛。一是其可以在电池驱动的设备上去跑，在减小延迟、降低功耗方面有很大优势；二是现在这样量级的模型也能有很强的聊天能力、情绪能力。今年IoT和AI PC都是很大的热点，很多智能陪伴型的应用很适合这种小模型。
他介绍，目前有道也在通过云端和端侧结合的方式，探索大模型在教育场景下的落地应用。通过云端结合可以做到低延迟，低成本，让产品更加具有优势。在最新推出的有道AI学习机X20中，承担AI家庭老师角色的“小P老师”就利用云端结合的方式，在家庭答疑的场景下为孩子提供全学段、全学科的答疑服务。
检索增强生成(RAG)技术作为大模型兴起后爆火的方向，广受研发者们追捧。周枫指出，有道已把RAG技术应用到业务实践的过程中，也已验证其对垂直领域应用效果非常好。
以“小P老师”为例，其能够做到全学科、全学段的强大答疑能力，中间一部分能力就是来自背后巨大的知识库，帮助它来获得更多高质量、更准确的解法和知识。周枫认为，未来RAG技术会更广泛地应用在垂直领域中，把领域的专业知识有效灌输到大模型里面，去做出更好的应用。
据悉，网易有道已开源自研的RAG引擎QAnything，并在Github上收到众多开发者关注。QAnything结合了用户私有数据和大模型的优势：用户的任何内容，比如各种格式的文档、音频、数据库等，都可以在其支持下变成针对其内容进行回答的使用方式。以日常文件处理为例，其会理解用户意图、在全库中寻找相关内容，理解、提取用户关心的要点，帮助用户1分钟读完万字长文。目前QAnything已在有道翻译、文档问答、课程客服等多个场景应用，并与外部客户展开商业合作。
2023年7月，网易有道推出国内首个教育大模型“子曰”，并率先推出六大应用。目前，有道也已将应用落地硬件及软件产品中，包括全球首个虚拟人口语私教Hi Echo、首个搭载大模型功能的有道词典笔X6 pro、搭载AI家庭老师“小P老师”应用的有道学习机X20。2023年11月，有道“子曰”教育大模型顺利通过双新评估，成为首批通过完整国家备案的教育大模型。