GGUF
•
qwen2
该模型支持27种语言,响应速度极快,是阿里巴巴Qwen2系列中最小的模型,参数规模可扩展至72B。
模型信息
模型
Qwen 2 0.5B
作者
Qwen
代码仓库
🤗 Qwen/Qwen2-0.5B-Instruct-GGUF↗
架构
参数
0.5B
格式
gguf
磁盘大小
约 352.97 MB
下载和运行Qwen 2 0.5B
在LM Studio中打开以查看下载选项
在LM Studio中使用
使用lms(LM Studio的开发者命令行界面)下载模型。
lms
lms get qwen2-0.5b
npx lmstudio install-cli
curl https://127.0.0.1:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen2-0.5b", "messages": [ { "role": "system", "content": "Always answer in rhymes." }, { "role": "user", "content": "Introduce yourself." } ], "temperature": 0.7, "max_tokens": -1, "stream": true }'
lms log stream
lmstudio.js