MetaAI 最新一代 Llama 模型 Llama 3.1 现已发布。
Llama 3.1 有哪些新特性？
- 支持高达 128k token 的超长上下文窗口。
- 现提供 3 种不同尺寸，包括全新的 405B 参数旗舰模型，以及经过升级的 70B 和 8B 版本。
- 支持 8 种不同语言，包括英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语。
- 在性能上可与 GPT-4、GPT-4o 和 Claude 3.5 Sonnet 等领先的闭源基座模型相媲美。
Llama 3.1 提供三种尺寸：8B、70B 和 405B。
| 名称 | 描述 |
|---|
8B | 体积相对较小、速度极快且功能极其强大的 LLM，可在笔记本电脑上运行。 |
70B | 中大型变体，适用于可能需要更复杂推理的各种用例。 |
405B | 迄今为止训练最充分的开源 LLM。运行需要极高性能的硬件配置。 |
如何在 LM Studio 中本地运行 Llama 3.1
- 从 https://lm-studio.cn 安装 LM Studio 0.2.28
- 搜索 Meta-Llama-3.1-8B-Instruct-GGUF 或使用此 直接下载链接。
- 下载完成后，即可加载模型。
- 在聊天界面或通过 LM Studio API 使用该模型。
您可以通过 LM Studio 内置的类 OpenAI 服务器使用 Llama 3.1。详情请参阅 文档。
要在 LM Studio 中使用 MetaAI 的 Llama 3.1，请下载或更新至 LM Studio 0.2.28 或更高版本。
从 LM Studio 官网 下载 LM Studio。