•
mistral
Mistral AI 推出的稍大型号 120 亿参数模型,NeMo 提供了 128k token 上下文长度、高级世界知识以及面向开发者的函数调用功能。
模型信息
模型
Mistral Nemo 2407
作者
MistralAI
架构
mistral
参数量
12B
格式
gguf
磁盘占用空间
大约 6.56 GB
使用 lms
— LM Studio 的开发者 CLI 下载模型。
lms get mistral-nemo
curl https://127.0.0.1:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "mistral-nemo",
"messages": [
{ "role": "system", "content": "Always answer in rhymes." },
{ "role": "user", "content": "Introduce yourself." }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": true
}'
lms log stream
以查看发送到 LLM 的提示。lmstudio.js
- LM Studio SDK 文档 (TypeScript)lms log stream
- 流式服务器日志lms
- LM Studio CLI 文档