Phi 3.1 Mini 128k

微软

phi3

微软最新的 Phi Mini 模型在小尺寸下支持高达 128k tokens 的上下文长度,以低廉的价格提供超长对话。

模型信息

模型

Phi 3.1 Mini 128k

作者

微软

架构

phi3

参数

3.8B

格式

gguf

磁盘大小

2.39 GB

下载并运行Phi 3.1 Mini 128k

在 LM Studio 中打开以查看下载选项

从终端下载 phi-3.1-mini-128k

使用 lms 下载模型 — LM Studio 的开发者 CLI。

lms get phi-3.1-mini-128k

从你的代码中调用 phi-3.1-mini-128k

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "phi-3.1-mini-128k",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步:构建!🔨

了解更多