Qwen2.5 0.5B Instruct MLX 4bit

阿里巴巴

qwen

Qwen2.5 的迷你版本

模型信息

模型

Qwen2.5 0.5B Instruct MLX 4bit

作者

阿里巴巴

架构

qwen

参数量

0.5B

格式

safetensors

磁盘大小

293.99 MB

下载并运行Qwen2.5 0.5B Instruct MLX 4bit

在 LM Studio 中打开以查看下载选项

从终端下载 lmstudio-community/qwen2.5-0.5b-instruct-mlx-4bit

使用 lms 下载模型 — LM Studio 的开发者 CLI。

lms get lmstudio-community/qwen2.5-0.5b-instruct-mlx-4bit

从你的代码中调用 lmstudio-community/qwen2.5-0.5b-instruct-mlx-4bit

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "lmstudio-community/qwen2.5-0.5b-instruct-mlx-4bit",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步:构建!🔨

了解更多