7月1日,X平台博主Beff-e /acc发帖表示,“当下的模型在彼此的数据上进行训练,如同人体蜈蚣效应一样”。很快,马斯克回复其称,“很遗憾,事实的确如此,从互联网训练数据中除去大语言模型需要大量的工作”。
此外,马斯克特别提到,其旗下人工智能初创公司xAI的大语言模型Grok-2即将在8月推出,可以大幅改进目前普遍存在的这一问题,减少LLM训练数据的重叠、对数据进行更多的整理。
具体来看xAI的发展历程,2023年7月成立,同年11月其首个AI大模型产品Grok对外亮相。
仅一个月后,xAI向美国证监会(SEC)提交的文件显示,该公司寻求通过发行股票融资至多10亿美元,其中已完成交易的部分为1.34亿美元。与此同时,Grok开始面向美国的Premium+订阅用户推出。
时间来到今年3月份,xAI先是宣布开源3140亿参数的混合专家模型Grok-1,以及该模型的权重和网络架构,紧接着推出能够进行长语境理解和高级推理Grok-1.5。4月时,xAI首个多模态模型Grok-1.5V问世,其在多学科推理、文档理解、科学图表、表格处理、屏幕截图和照片等多个领域“均能媲美现有的前沿多模态模型”。
在此之前,xAI一直将OpenAI视为重要的目标和主要的竞争对手。
但5月时,随着前者宣布完成60亿美元的B轮融资(单笔融资规达到OpenAI总融资额近一半),马斯克突然“谦逊”的表示,“xAI是一家新公司,因此Grok仍有许多工作要做,才能拥有与谷歌Deepmind和OpenAI相抗衡的人工智能,也许在今年年底就能做到这一点”。
显然,Grok-2的推出正是马斯克用行动上兑现自己“诺言”,另外在今年年底,使用10万个H100进行训练的Grok 3也将推出。
