什么?一个人就能训练大模型,指标还能硬刚K3V4?

探索世界观设定不必急于得出结论,爱游戏娱乐建议结合选择思路慢慢了解,爱游戏娱乐入口提供围绕社区交流的阅读内容,方便读者查 - 爱游戏体育网站

训练一个参数高达5000亿的大规模语言模型,究竟需要多少人力资源?

根据AI领域的普遍认知,这至少需要一个数十人的团队,而大型科技公司往往投入数百人。

然而,一家名为Mirendil的硅谷初创企业,将这个数字缩减到了极致——仅需一人。

就在不久前,Mirendil在其官方网站上发表了一篇文章,标题颇为震撼:《无需预训练团队的大规模预训练》。

文章标题下方列出了三项数据:

一名研究员、三个半月时间、成本低于1000万美元。

这些费用涵盖了Agent的令牌消耗、数据处理以及全部研究实验的支出。仅凭这些投入,他们确实成功训练出了千亿参数的模型:Mirendil-Base,一个参数规模在1000亿到5000亿之间的编码专用基座模型。

Mirendil在文章中声称,新模型超过99%的代码并非由人类编写,而是由Agent完成。

人类研究员只需负责确定方向、做出判断,并在关键节点进行干预。编写代码、运行实验、排查错误等任务,全部交由Agent处理。

在Mirendil的测试中,新模型的部分性能指标已接近Kimi K3、GLM-5.3、DeepSeek-V4等主流一线模型。

“单人打造基座模型”的时代,真的即将来临……吗?

01

根据官方介绍,Mirendil-Base是Mirendil系列模型的首发产品,定位为编码专用基座模型,目标用户是前沿AI实验室内部的研究员和工程师。

为了验证单人能否独立完成模型构建,Mirendil设定了许多严格条件。例如,不能使用现有的预训练框架,也不能继承既有代码。

研究员和Agent从零开始,在100多天内搭建了一切——训练基础设施、模型架构、训练算法、数据管道,全部自主编写,仅在PyTorch、JAX等通用库的基础上,参考了一些热门开源项目作为模板。

当然,这里的“自主”,通常指的是Agent。

研究员主要负责决定尝试什么、信任什么,并在必要时进行干预。编写代码、运行实验、诊断错误等具体操作,基本都由Agent自行完成。

在数据方面,Mirendil全部使用公开数据,例如GitHub上的开源代码、公开网页、公开数据集等。公司强调,训练过程中没有购买任何一行数据,未进行蒸馏操作,也未使用合成数据。

此外,Mirendil希望通过改进设计来提升效率。“我们通过改进的架构、数据混合的高级调优,以及其他数据层面的改进,再加上内核优化,获得了显著的效率提升。”公告中如此表示。

最终成果是Mirendil-Base,参数规模为1000亿到5000亿。

单人打造的千亿参数模型,究竟达到了什么水平?

Mirendil选取了五款模型进行对比,分别是Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base和Inkling,这些均为MoE架构的大参数模型。

在新代码仓库的交叉熵测试(模型猜测代码编写方式,分数越低表示猜测越准确)中,各款模型的比拼结果如下:

Kimi K3排名第一,得分为0.193;Mirendil-Base排名第二,得分为0.222;其后依次是GLM-5.3、DeepSeek-V4和Nemotron。

换句话说,在某些编码维度上,由一人与Agent组队训练出的预训练模型,已经能够与头部大厂的成品模型一较高下。

然而,需要指出的是,通常情况下,基座模型在交叉熵测试中的表现优于后训练模型。Mirendil-Base作为基座模型,其分数反而高于经过后训练的Kimi-K3,这表明Kimi-K3的实际能力比表面分数所显示的更强,Mirendil-Base与它的差距比看上去更大。

根据官方介绍,Mirendil-Base之上还有两个版本:Large版本参数在5000亿到2万亿之间,XL版本则直接达到2万亿到10万亿。

目前,Large版本已训练了80%,XL版本仅刚开始,完成了19%,但其分数已接近Large版本当前的水平。

也就是说,在充足资金和Agent的辅助下,单人训练万亿参数模型并非遥不可及——这是许多AI大厂尚未触及的门槛。

02

千亿乃至万亿参数大模型的预训练,极其耗费资金和时间,并且需要大量人力投入。

数百名研究员中,一部分负责研究模型形态及扩展方法;一部分管理数万亿token的清洗与配比;还有一部分人负责维护数千甚至数十万张计算卡,确保训练过程不间断。

AI大厂能够聚集足够多的人才,但资金和算力成本的压力依然巨大。

整个行业一直在尝试降低成本,核心思路只有一条:让AI来训练AI。

例如,Anthropic已经在这条路上走了很远。

该公司此前透露,今年5月,其代码库中超过80%的合并代码是由Claude编写的。

谷歌也在进行类似的尝试:AI编程智能体AlphaEvolve已被用于优化数据中心调度、芯片设计和AI训练流程。

但“AI训练AI”这条路径,目前只有大厂能够驾驭。

科学家、研究员、小团队等,想自行训练一个模型,此前几乎不可能实现。

Mirendil-Base却证明了,在特定条件下,一个人也可以“手工打造”模型。

Mirendil在官网文章中表示,直到不久前,预训练一个有竞争力模型的瓶颈还是人才:一支需要多年才能组建起来的专家团队。

如今,这一局面正在发生变化。

过去只有大型研究机构才能做到的事情,现在一名研究员就能完成。当Agent承担了大部分动手工作后,瓶颈转移到了算力、数据,以及指挥Agent的那个人的判断力上。

“人人都能训练模型”,蕴含着巨大的想象空间。

以前,大多数人和公司如果需要专属模型,往往租用一个通用模型,再在边缘进行适配。

现在,一支芯片设计团队、一个机器人实验室,或是一家医院,都可以用自己的数据、针对自己的问题训练一个模型。基座模型以及围绕它们构建的系统,将不再是只有少数大厂才能制造的东西,而会更加普及。

另一方面,过去需要一个大型团队才能启动的AI项目,现在可以从一个小团队,甚至一个人起步;而随着算力越来越便宜、越来越强大,更多人能够去尝试这些项目。“一人公司”或“超级个体”,有望变为现实。

人们的工作方式也会被改变:随着越来越多的工作被交给Agent,人类的日常工作将越来越不像“亲手做事情”,而越来越像“带领一个小型实验室”:设定研究方向、设计值得运行的实验、判断哪些想法值得继续推进。

Mirendil描绘了更加炫目的前景:下一个模型将部分由Mirendil自己的模型来构建,而每一个在构建AI这件事上变得更强的模型,都会让下一个模型的构建更便宜、更快速。

“我们认为,还没有达到完全自主的RSI,但我们已经比以往更接近了。”公司表示。

此外,公司已经开始对Mirendil-Base进行后训练。Mirendil-Base-Large以及达到前沿水平的Mirendil-Base-XL仍在训练中。

03

Mirendil的背后,是两位Anthropic前员工:Behnam Neyshabur和Harsh Mehta。

Neyshabur是80后,出生于伊朗并就读大学。2011年前往美国,在丰田工业大学芝加哥分校获得博士学位。毕业后,他在谷歌DeepMind工作了5年,2024年底加入Anthropic,领导了Discovery团队,专门研究如何让AI像科学家一样参与研发。

Mehta是印度裔,毕业于印度理工学院古瓦哈提分校,在DeepMind时与Neyshabur是同事。加入Anthropic后,Mehta搭建了Anthropic内部自动化AI研究平台的第一个版本。

2025年12月,两人先后离职,成立了Mirendil,公司定位是让AI来帮助科学家造出他们自己的AI,而不只是直接用AI辅助科学。

换句话说,他们希望让科研团队能够自行训练、迭代专属AI模型,不再依赖大厂的通用模型。背后的技术路线,正是近期AI圈内热议的RSI。

今年6月,Mirendil官宣了2亿美元种子轮融资,投后估值10亿美元。投资方包括a16z、凯鹏华盈、英伟达等。

团队目前约20人,均来自Anthropic、xAI、Google DeepMind、OpenAI的研究员和工程师,在旧金山市中心办公。

Mirendil-Base的亮相,标志着公司跨过了第一个里程碑。

但话说回来,“单人训练千亿参数模型”听起来美好,门槛并没有被拉低多少。

1000万美元的成本,对大厂来说不算什么,刚刚拿到融资的Mirendil也还付得起。但对于绝大多数个人、小团队来说,依然是天文数字。

更不用说,能指挥Agent完成如此大工程,并非随便拉一个工程师就能上手的。Mirendil的人才质量之高、AI项目经验之丰富,在整个硅谷都处于第一梯队。

“一人手搓大模型”的时代确实在靠近,但离普通人还很远。

Mirendil-Base的发布,是这条漫长道路的第一块路标。至于它能否真的把大模型的门槛打下来,还得看后续更大规模模型的实际水平,以及这套方法论能否复制到别人身上。

本文来自微信公众号“字母AI”,作者:彦飞,编辑:王靖,36氪经授权发布。

爱游戏体育网站深耕爱游戏娱乐入口领域,用心服务每一位用户。 - 爱游戏体育网站

爱游戏体育网站深耕爱游戏娱乐入口领域,用心服务每一位用户。

爱游戏体育网站围绕鼓励基于个人兴趣的探索,不急于得出唯一结论。不断创新,回应用户的真实需求。

评论

爱游戏体育网站深耕爱游戏娱乐入口领域,用心服务每一位用户。 - 爱游戏体育网站

在爱游戏网页入口方面,爱游戏体育网站提供贴心周到的支持。

爱游戏体育网站以爱游戏体育网站为核心,带来高效便捷的体验。

精选围绕选择思路组织内容,方便读者查找参考信息。内容,爱游戏体育网站与你一同发现更多精彩。

爱游戏体育网站深耕爱游戏娱乐入口领域,用心服务每一位用户。 - 爱游戏体育网站

想了解更多爱游戏网站相关内容,尽在爱游戏体育网站。

爱游戏体育网站围绕爱游戏网页版不断创新,回应用户的真实需求。

爱游戏体育网站专注以客观视角呈现核心要点,支持用户自主判断。,为用户提供专业可靠的体验。

精选整合社区阅读资源,辅助用户逐步了解游戏世界观设定。内容,爱游戏体育网站与你一同发现更多精彩。