登录或注册
主页
登录
模型目录
工作用途
文档
博客
下载
职业
隐私政策
使用条款
96
391.7K 下载量
OpenAI 开源模型的 20B 变体。采用 Apache 2.0 许可证。
针对工具使用进行训练
推理
该模型专为低延迟和专用或本地部署而设计,总参数为 21B,但一次只有 3.6B 处于活动状态。得益于 MoE 层的原生 MXFP4 量化,它运行效率高,并能够在 16GB 内存中运行。
该模型以宽松的 Apache 2.0 许可证发布,具有可配置的推理工作量——低、中或高,用户可以根据自身需求平衡输出质量和延迟。该模型提供完整的思维链可见性,以支持更轻松的调试和增加信任度,尽管此输出不适用于最终用户。它完全可微调,能够适应特定的任务或领域,并包括原生代理功能,例如函数调用、网页浏览、Python 执行和结构化输出。
该模型支持 131k 的上下文长度。
模型作者定义的特殊功能
推理工作量
: 选择
(默认=低)
控制模型应执行多少推理。
此模型使用的底层模型文件
基于
GGUF
当您下载此模型时,LM Studio 会选择最适合您机器的来源(您可以覆盖此设置)
此模型附带的自定义配置选项