← 返回博客

Llama 3.1

作者

•

2024-07-23

MetaAI 最新的 Llama 模型世代，Llama 3.1，现已发布。

Llama 3.1 的新特性？

  • 更长的上下文窗口，支持高达 128k tokens。
  • 现在提供 3 种不同尺寸，包括新的 405B 参数旗舰模型，以及升级的 70B 和 8B 版本。
  • 支持 8 种不同的语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
  • 可与其他领先的闭源基础模型竞争，包括 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。

Llama 3.1 提供三种尺寸：8B、70B 和 405B。


名称描述
8B相对较小、快速的模型，以及极其强大的 LLM，您可以在笔记本电脑上运行它。
70B中大型变体，可实现可能需要更复杂推理的多样化用例。
405B迄今为止经过最广泛训练的开放 LLM。 需要极其强大的设置才能运行

如何在您的 LM Studio 中本地运行 Llama 3.1

  • 从 https://lm-studio.cn 安装 LM Studio 0.2.28
  • 搜索 Meta-Llama-3.1-8B-Instruct-GGUF 或使用此直接下载链接。
  • 下载完成后，继续加载模型。
  • 在聊天界面中或通过 LM Studio API 使用该模型。

您可以通过 LM Studio 的内置类 OpenAI 服务器使用 Llama 3.1。 有关更多详细信息，请参阅文档。

要在 LM Studio 中使用 MetaAI 的 Llama 3.1，请下载或更新到 LM Studio 0.2.28 或更高版本。

从 LM Studio 网站下载 LM Studio。