← 所有模型

Llama 3.1 8B Instruct 4bit

•

mlx-community

llama

Meta Llama 3.1 多语言大型语言模型 (LLM) 系列是预训练和指令微调的生成模型集合，包含 8B、70B 和 405B 三种规模（文本输入/文本输出）。

模型信息

模型

Llama 3.1 8B Instruct 4bit

作者

mlx-community

仓库

🤗 mlx-community/Meta-Llama-3.1-8B-Instruct-4bit↗

架构

llama

参数量

8B

格式

safetensors

磁盘占用空间

约 4.53 GB

下载并运行Llama 3.1 8B Instruct 4bit

在 LM Studio 中打开以查看下载选项

从终端下载 llama-3.1-8b

使用 lms — LM Studio 的开发者 CLI 下载模型。

lms get llama-3.1-8b

从你的代码中调用 llama-3.1-8b

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama-3.1-8b",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步：构建！🔨

了解更多