中信证券:LLaMA-3震撼发布!海量数据喂养效果超预期

科技动态 2024-04-23 09:38 阅读:

中信证券近期发布的研报揭示了Meta发布的最新大语言模型LLaMA-3的重大突破。LLaMA-3提供了8B、70B和400B+三个版本的Dense模型,其中70B版本的性能已达GPT-3.5+水平,逼近GPT-4,而400B+版本有望进一步缩小与GPT-4的差距。LLaMA-3的发布打破了业界对Chinchilla定律的认知,证实了通过持续喂入海量优质数据,即使是小模型也能获得超出预期的能力提升。

LLaMA-3的创新之处在于使用LLaMA-2模型对训练数据进行质量把控,但这也带来了更高昂的成本。随着数据量的增加,合成数据可能成为高质量数据获取的主要途径,这将直接影响开源与闭源模型的差距。Meta已经将LLaMA-3应用于全新的AI助手产品Meta AI,并计划通过Facebook、Instagram等平台和AR眼镜推出服务。国内厂商可以通过中文化微调迅速获得接近GPT-4水准的基础模型。

总的来看,LLaMA-3的发布将引领认知智能领域的变革,建议未来重点配置高质量训练数据构建、多模态大模型研发、新型架构创新、算力基础设施升级等领域的优质标的。

中信证券还指出,LLaMA-3在架构上进行了小幅更新,但性能显著提升。LLaMA-3-70B的性能已经超越了同级别模型,逼近GPT-4水平。LLaMA-3的训练数据规模远超预期,即使是小模型也能通过增大优质数据量实现显著性能提升,打破了Chinchilla定律的认知。

在数据处理方面,LLaMA-3创新性地使用前代模型做质量把关,但成本高昂。随着后续参数的增长,传统的数据采集和清洗方式将难以为继,合成数据技术的发展将直接影响开源模型与闭源模型的差距。

商业化方面,Meta已将LLaMA-3应用于AI助手产品Meta AI,为用户提供智能对话与任务协助服务。国内厂商可以通过中文化微调改造获得接近GPT-4水准的基础模型,用于大模型应用。

投资策略方面,建议关注在合成数据、自动化数据优化等领域有突破潜力的企业。随着大模型体量增长,多模态能力和推理效率成为新的竞争焦点,MoE等新型架构将成为主流。商业化方面,成熟小模型与垂直场景结合有望催生新增长点。

风险因素包括AI核心技术发展不及预期、政策监管收紧、数据相关政策风险、宏观经济复苏不及预期、企业IT支出不及预期、伦理、道德、用户隐私风险等。建议投资者谨慎评估风险,把握机遇。