← 所有模型

Mistral Nemo Instruct 2407 4bit

•

mlx-community

mistral

一个最先进的 12B 参数模型，上下文长度为 128k，与 NVIDIA 合作构建，并根据 Apache 2.0 许可证发布。

模型信息

模型

Mistral Nemo Instruct 2407 4bit

作者

mlx-community

代码仓库

🤗 mlx-community/Mistral-Nemo-Instruct-2407-4bit↗

架构

mistral

参数

12B

格式

safetensors

磁盘大小

大约 6.91 GB

下载和运行Mistral Nemo Instruct 2407 4bit

在 LM Studio 中打开以查看下载选项

使用终端下载 mistral-nemo

使用 lms 命令行工具（LM Studio 的开发者命令行界面）下载模型。

lms get mistral-nemo
如果您还没有安装，请运行 npx lmstudio install-cli 进行安装。

在您的代码中调用 mistral-nemo

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "mistral-nemo",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步：构建！🔨

了解更多