摩尔线程与陆辰科技联合开发的预训练语言模型MusaBert（MUSA为摩尔线程提出的通用元计算架构）于12月16日进入汉语理解领域权威CLUE榜单TOP 10，最终以82.889 的成绩在CLUE1.1 总体排名中排名第9（不包括人类成绩），并在AFQMC 任务中以86.92 的成绩取得第一名，这意味着摩尔线程AI 在语义理解和匹配能力上已经超越了人类水平。同时，这也是路辰科技AI大模型开发系统Colossal-AI在自然语言处理领域应用的重要进展。

（2022年12月16日CLUE1.1总排名最新结果）

与CLUE 总排名TOP 10 中的其他中国预训练模型相比，MusaBert 仅包含3 亿个参数，是前十中最小的模型。它是一个单一模型，没有任何集成。此外，Moore Thread基于MusaBert的语义嵌入模型MusaSim在AFQMC任务中击败了众多大型模型，获得了第一名。不仅为检索系统、分类对话等更深层次的语义理解研究奠定了坚实的基础，也证明了Moore Thread在中文自然语言处理和低资源大模型训练领域的强大能力。

语义理解一直是NLP（自然语言处理）技术的重要目标。通过一系列人工智能算法，可以将文本解析为结构化的、机器可读的意图和词槽信息。一般来说，训练数据的获取和处理、模型迭代和训练等都是NLP技术实现的难点。 MusaBert仅使用极少数的参数就可以达到媲美甚至超越数百亿参数的大型模型的结果。这主要得益于多方面的突破性进展：

技术层面：摩尔线程具备“软硬件一体化”的技术能力，让MusaBert从下到上进行优化；摩尔线程多功能GPU内置AI加速、并行计算等硬件模块，可提供包括AI、科学计算在内的全方位计算。堆栈功能可以为AI推理计算加速、低资源大模型训练等应用场景提供通用、高性价比、节能环保的AI能力。

算法层面：MusaBert使用路辰科技的AI大模型开发系统Colossal-AI。在上游训练方面，充分发挥了系统的易用性和强大的并行训练性能。同时，MusaBert使用DataLoader进行模型数据预处理。经过优化，可在资源匮乏的情况下快速处理大规模数据；在下游任务方面，Moore Threads采用适当的优化建模，进行领域内的数据增强，并在模型的训练优化上采用先进的Adan。使用优化器等方法尽可能地探索和展示预训练语言模型强大的语义理解能力。 MusaSim是Moore Threads开发的语义嵌入模型，以MusaBert为基础模型，采用对比学习方法进行训练，并利用Moore Threads收集的数百万对监督数据。得益于MusaBert和高质量的数据集，MusaSim不仅在语义相似性任务上超越了许多更大规模的模型，而且在意图识别和情感分析等分类任务上也取得了更好的结果。

数据层面：MusaBert除了使用Moore Thread自身采集的高质量语义相似度数据外，还使用了200GB Wudao开源数据和80GB CLUE社区数据，以及浪潮电子信息产业公司提供的1T高质量数据集. Ltd. 大规模、高质量的数据使模型能够在相对较小的规模下保持高性能。

目前，MusaBert作为基础模型已应用于摩尔线程开发的智能客服和数字人类项目，并在语义相似度、情感识别、阅读理解、音韵识别等下游领域得到落地应用。

为了进一步降低大型模型的开发和应用门槛，现将MusaBert代码开源到Colossal-AI仓库（https://github.com/hpcaitech/ColossalAI/tree/main/examples/language/roberta）。使用该脚本，您可以快速在系统内训练出高质量的中文Bert模型。包括MusaBert、MusaSim在内的一系列优质模型也将于近期开源，为中国NLP社区做出贡献。另外，经过摩尔线程和陆辰科技的严格测试，仅用单块摩尔线程多功能GPU卡就可以训练MusaBert甚至更大规模的GPT2，大大降低了预训练成本，也实现了低成本对于双方来说。资源大模型训练的共同愿景迈出了坚实的一步。

作为中文语言理解领域最权威的评估基准之一，CLUE涵盖了文本相似度、分类、自然语言推理、阅读理解等众多语义分析和理解子任务。业界和学术界已将CLUE作为训练前算法能力的验证和衡量。此次进入CLUE榜单TOP 10，代表摩尔线程与陆辰科技联合研发团队在中国预训练研究领域已达到行业领先水平。

展望未来，摩尔线程也将与陆辰科技紧密合作，以更合适的规模开始大规模自然语言模型的研究，充分利用上游数据，生产出能力更强的模型，并开源。同时，在算法和系统层面保持并行性，不断优化大模型在摩尔线程多功能GPU上的训练能力，特别是在单消费级显卡等资源匮乏的场景下，可以极大地提高性能。减少大型模型训练所需的时间。门槛和成本进一步推动人工智能的民主化。

关于潞晨科技路辰科技是一家致力于“解放AI生产力”的全球化公司。其核心产品Colossal-AI是大模型时代的通用深度学习系统，可以实现AI大模型训练和推理的高效快速部署，降低AI模型应用成本。自开源以来，Colossal-AI多次位列GitHub热门榜全球第一，获得约7000个GitHub star，并成功入选SC、AAAI、和PPoPP。相关解决方案已被自动驾驶、云计算、零售、医药、芯片等行业知名厂商成功实施，并受到广泛好评。

关于摩尔线程

关于本次摩尔线程预训练语言模型MusaBERT跻身CLUE榜单Top 10和的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。