Granite 3.1 8B

IBM

granite

IBM 的密集 LLM,支持高达 128K 的上下文长度,使用 12T tokens 训练。适用于通用指令遵循,可用于构建 AI 助手

模型信息

模型

Granite 3.1 8B

作者

IBM

架构

granite

参数

8B

格式

gguf

磁盘大小

大约 4.94 GB

下载并运行Granite 3.1 8B

在 LM Studio 中打开以查看下载选项

从终端下载 granite-3.1-8b

使用 lms — LM Studio 的开发者 CLI 下载模型。

lms get granite-3.1-8b

从你的代码中调用 granite-3.1-8b

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "granite-3.1-8b",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步:构建!🔨

了解更多