微软推出Win11设备端小型语言模型Mu

IT之家6月24日消息，微软公司今日宣布推出Mu，这是一款内置于Windows11的新型设备端小型语言模型。该模型旨在为用户提供更加智能和自然的语言交互体验，进一步优化系统设置中的搜索功能。

去年，微软曾推出搭载专用神经处理单元（NPU）的Copilot+个人电脑，该NPU算力超过40TOPS。这些电脑配备了Phi-Silica，一款用于在设备上为微软第一方应用程序以及第三方开发者应用程序提供语言智能功能的本地SLM（小型语言模型）。

如今，微软在Windows11中引入了Mu，这是一款全新的本地小型语言模型。微软的目标是创建一个基于人工智能的智能代理，使其能够理解用户的自然语言查询，并将其无缝集成到系统设置应用中现有的搜索框内，从而为用户提供更加流畅的使用体验。为此，微软利用Mu模型为设置应用中的新代理功能提供支持，该功能最近已在开发频道向Windows预览体验计划成员开放，且仅限于使用Copilot+个人电脑的用户使用。

据IT之家了解，与Phi-Silica类似，Mu被设计为能够在NPU上高效运行，能够在本地以每秒超过100个token的速度运行。在官方博客文章中，微软详细介绍了Mu语言模型的设计和训练过程。以下是Mu语言模型的概要信息：

Mu是一款拥有3.3亿参数的编码器-解码器语言模型。与同尺寸的解码器模型相比，编码器-解码器架构能够将首token延迟降低约47%，并将解码速度提高4.7倍。Mu在某些组件中采用了权重共享技术，以减少总参数数量。微软利用NVIDIAA100GPU在Azure机器学习平台上对Mu进行了训练。尽管Mu的尺寸仅为Phi-3.5-mini的十分之一，但其性能几乎与经过类似微调的Phi-3.5-mini相当。此外，该模型更适合处理多词查询。对于短词或部分词输入，系统设置应用仍会在搜索框中显示词汇和语义搜索结果。

对于有兴趣体验这一全新人工智能代理功能的用户，可以下载Windows11Build26120.3964（KB5058496）或更高版本，以体验Windows设置应用中的这一新功能。