Phi 3.1 Mini 128k

微软

phi3

微软最新的Phi Mini模型在小巧的体积下支持高达128k token的上下文长度,提供极长的廉价对话。

模型信息

模型

Phi 3.1 Mini 128k

作者

微软

架构

phi3

参数

38亿

格式

gguf

磁盘占用空间

2.39 GB

下载和运行Phi 3.1 Mini 128k

在LM Studio中打开以查看下载选项

从终端下载phi-3.1-mini-128k

使用lms(LM Studio 的开发者命令行界面)下载模型。

lms get phi-3.1-mini-128k
如果您还没有安装,请运行npx lmstudio install-cli

从您的代码中调用phi-3.1-mini-128k

curl https://127.0.0.1:1234/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "phi-3.1-mini-128k",
    "messages": [
      { "role": "system", "content": "Always answer in rhymes." },
      { "role": "user", "content": "Introduce yourself." }
    ],
    "temperature": 0.7,
    "max_tokens": -1,
    "stream": true
  }'

下一步:构建!🔨

了解更多