【财新网】马斯克旗下的大模型公司对外公开源代码。当地时间3月17日,马斯克(Elon Musk)的人工智能公司xAl在全球最大的编程项目托管平台GitHub上发布了预训练大语言模型Grok-1的源代码,目前收藏超11.7k星数。Grok-1使用Apache-2.0开源协议,这意味着它允许商业途径使用,并且允许用户自由修改开发、分发软件。
xAI于官网公布了Grok -1更多技术细节。xAI称,Grok-1的预训练数据止于2023年10月,是一款原始基础模型,并没有针对任何特定应用进行微调,Grok-1背后参数为3140亿。xAI在开源界面上提示,需要GPU有足够显存才能运行该模型。作为参考,2020年5月OpenAI发布的GPT-3模型参数约为1750亿,Meta的开源大模型Llama-2目前对外提供的最大参数的模型为700亿参数。