项目简介
Llama 是一种易于访问、开放的大型语言模型 (LLM)，专为开发人员、研究人员和企业构建、实验和负责任地扩展其生成式 AI 想法而设计。作为基础系统的一部分，它是全球社会创新的基石。几个关键方面：
-
开放访问：轻松访问尖端的大型语言模型，促进开发人员、研究人员和组织之间的协作和进步
-
广泛的生态系统：Llama 模型已被下载数亿次，有数以千计的社区项目基于 Llama 构建，平台支持广泛，从云提供商到初创公司 - 世界正在与 Llama 一起构建！
-
信任和安全：Llama 模型是信任和安全综合方法的一部分，发布的模型和工具旨在实现社区协作并鼓励生成人工智能的信任和安全工具的开发和使用标准化
我们的使命是通过这个机会为个人和行业赋能，同时营造一个发现和道德人工智能进步的环境。模型权重授权给研究人员和商业实体，秉承开放原则。
可用模型
-
Llama 2
（2023 年 7 月 18 日）：7B、13B、70B 参数
-
Llama 3
（2024 年 4 月 18 日）：8B、70B 参数
-
Llama 3.1
（2024 年 7 月 23 日）：8B、70B、405B 参数
下载
要下载模型权重和分词器，请访问 Meta Llama 网站并接受我们的许可证。
一旦您的请求获得批准，您将通过电子邮件收到签名的 URL。然后，运行 download.sh 脚本，并在提示开始下载时传递提供的 URL。
先决条件：确保您已安装
wget
和
md5sum
。然后运行脚本：
./download.sh
。
./download.sh
可以在相应的
models
目录中找到。
请记住，链接将在 24 小时和一定下载量后过期。如果您开始看到诸如
403: Forbidden
之类的错误，您可以随时重新请求链接。
访问Hugging Face
我们还提供 Hugging Face 上的下载，包括 Transformer 和原生
llama3
格式。要从 Hugging Face 下载权重，请按照以下步骤操作：
-
访问其中一个存储库，例如 meta-llama/Meta-Llama-3.1-8B-Instruct。
-
阅读并接受许可证。一旦您的请求获得批准，您将有权访问所有 Llama 3.1 模型以及以前的版本。请注意，过去请求最多需要一小时才能得到处理。
-
要下载原始本机权重以与此存储库一起使用，请单击“文件和版本”选项卡并下载
original
文件夹的内容。如果您
pip install huggingface-hub
，您也可以从命令行下载它们：
huggingface-cli download meta-llama/Meta-Llama-3.1-8B-Instruct --include "original/*" --local-dir meta-llama/Meta-Llama-3.1-8B-Instruct
注意 meta-llama/Meta-Llama-3.1-405B 的原始原始权重无法通过此 HugginFace 存储库获得。
import transformersimport torch
model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
pipeline = transformers.pipeline( "text-generation", model="meta-llama/Meta-Llama-3.1-8B-Instruct", model_kwargs={"torch_dtype": torch.bfloat16}, device="cuda",)
安装
您只需执行
pip install llama-models
即可将此存储库安装为包
