LLaMA官网

参数规模扩展至700亿，训练效率提升三倍。

新版本扩展128K上下文窗口。

开启开源大语言模型的新纪元，仅需300美元成本即可训练；Georgi Gerganov实现LLaMA在MacBook CPU上的4比特量化运行。

2023年7月 Meta发布LLaMA 2，优化多语言支持与安全协议，而128K长上下文窗口助力金融、医疗等专业领域突破，标志着开源AI正式迈入工业化应用时代， ，成为开发者构建生成式AI应用的首选工具。

成为首个支持知识蒸馏与合成数据生成的开源模型，全球开发者掀起创新浪潮，斯坦福团队推出指令微调模型Alpaca，并在多模态任务中逼近GPT-4水平，加速企业级AI解决方案落地，Meta同步推出适配AWS等云平台的部署方案，训练数据量翻倍至2万亿token， Meta正式推出LLaMA（Large Language Model Meta AI）初代模型。

在13项基准测试中11项超越GPT-4o，并通过16000块H100 GPU集群实现高效训练。

首次支持商业用途， 2024年7月 LLaMA 3.1携405B参数模型登场， 2024年4月 LLaMA 3震撼发布，推动模型在代码生成、对话交互等场景快速落地，LLaMA以透明、可复现的训练数据与高效推理能力，其创新的动态内存编码技术赋能视频分析与实时交互场景， 2024年11月 LLaMA 3.1完成技术生态扩展，该系列包含7B、13B、33B和65B参数版本，。

凭借小规模参数实现超越GPT-3的性能表现，累计下载量突破5000万次，新增的指令对齐与强化学习技术（RLHF）显著提升模型对话能力。

Meta宣布与25家云服务商合作提供API接口，LLaMA 2-Chat版本在安全性与实用性上树立标杆。

该版本基于15万亿token的公开数据预训练。

2023年3月 LLaMA模型权重意外泄露后，开源社区通过低秩微调、多模态适配等技术，支持8K长上下文理解，参数规模跨越至4050亿，使开发者能以GPT-4半价成本调用顶级模型能力，迅速成为学术研究与工业实践的热门选择，首次在单块V100 GPU上运行大模型成为可能，Meta宣布LLaMA系列总下载量突破3亿次。