(资料图片仅供参考)

据报道，谷歌上周发布的最新大语言模型使用的训练数据，几乎是2022年的上一代模型的5倍。得益于此，该模型在编程、数学和创意写作方面的表现更为优秀。谷歌是在其I/O开发者大会上发布最新通用大语言模型PaLM2的。内部文件显示，该模型采用了3.6万亿个令牌（token）进行训练。令牌指的是单词串，这是训练大语言模型的重要基础，因为这可以教给模型如何预测字符串中可能出现的下一个单词。之前版本的PaLM发布于2022年，当时使用的令牌为7800亿个。虽然谷歌很希望展示其人工智能技术的实力，以及嵌入搜索、电子邮件、字处理和电子表格后的效果，但该公司却不愿发布其训练数据的规模和其他细节。微软支持的OpenAI也对其最新的GPT-4大语言模型的细节信息保密。

标签：