•
phi3
微软最新的 Phi Mini 模型在小尺寸下支持高达 128k tokens 的上下文长度,以低廉的价格提供超长对话。
模型信息
模型
Phi 3.1 Mini 128k
作者
微软
架构
phi3
参数
3.8B
格式
gguf
磁盘大小
约 2.39 GB
使用 lms 下载模型 — LM Studio 的开发者 CLI。
lms get phi-3.1-mini-128k
curl https://127.0.0.1:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "phi-3.1-mini-128k",
"messages": [
{ "role": "system", "content": "Always answer in rhymes." },
{ "role": "user", "content": "Introduce yourself." }
],
"temperature": 0.7,
"max_tokens": -1,
"stream": true
}'
lms log stream
以查看发送到 LLM 的提示。lmstudio.js
- LM Studio SDK 文档 (TypeScript)lms log stream
- 流式传输服务器日志lms
- LM Studio 的 CLI 文档