← 所有模型

Granite 3.1 8B

•

IBM

granite

IBM 的密集 LLM，支持高达 128K 的上下文长度，使用 12T tokens 训练。适用于通用指令遵循，可用于构建 AI 助手

模型信息

模型

Granite 3.1 8B

作者

IBM

仓库

🤗 lmstudio-community/granite-3.1-8b-instruct-GGUF↗

架构

granite

参数

8B

格式

gguf

磁盘大小

大约 4.94 GB

下载并运行Granite 3.1 8B

在 LM Studio 中打开以查看下载选项

从终端下载 granite-3.1-8b

使用 lms — LM Studio 的开发者 CLI 下载模型。

lms get granite-3.1-8b

从你的代码中调用 granite-3.1-8b

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "granite-3.1-8b",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步：构建！🔨

了解更多