GGUF
•
llava
最初的 LLaVA 视觉模型,支持图像输入和文本指令。
模型信息
模型
LLaVA v1.5
作者
Haotian 等人
代码仓库
🤗 second-state/Llava-v1.5-7B-GGUF↗
架构
参数
7B
格式
gguf
磁盘大小
约 4.45 GB
下载和运行LLaVA v1.5
在 LM Studio 中打开以查看下载选项
在 LM Studio 中使用
使用 lms — LM Studio 的开发者命令行界面下载模型。
lms
lms get llava-v1.5
npx lmstudio install-cli
curl https://127.0.0.1:1234/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "llava-v1.5", "messages": [ { "role": "system", "content": "Always answer in rhymes." }, { "role": "user", "content": "Introduce yourself." } ], "temperature": 0.7, "max_tokens": -1, "stream": true }'
lms log stream
lmstudio.js