← 所有模型

gemma-3n

193.4K 次下载

Gemma 3n 是一款生成式人工智能模型,专门为手机、笔记本电脑和平板电脑等日常设备的使用而优化。

模型
已更新3个月前
2.95 GB
4.24 GB

内存要求

运行最小的gemma-3n,您至少需要 3 GB 内存。 最大的可能需要高达 4 GB.

功能

gemma-3n 模型支持视觉输入。它们提供 gguf 和 mlx 格式。

关于gemma-3n

undefined

Gemma 3n 是一款生成式人工智能模型,专门为手机、笔记本电脑和平板电脑等日常设备的使用而优化。该模型包含在参数高效处理方面的创新,包括每层嵌入 (PLE) 参数缓存和 MatFormer 模型架构,从而能够灵活地降低计算和内存需求。这些模型具备处理音频输入以及文本和视觉数据的能力。

Gemma 3n 系列包含两个模型

  • gemma-3n-e2b(2B 有效参数)
  • gemma-3n-e4b(4B 有效参数)

两款模型均支持 32k token 的上下文长度。

核心功能

  • 优化的设备端性能与效率: 通过每层嵌入、KV 缓存共享和先进的激活量化等创新技术,Gemma 3n 在移动设备上的响应速度提高了约 1.5 倍,且质量显著提升(相比 Gemma 3 4B),同时降低了内存占用。

  • 多合一的灵活性: 该模型具有 4B 活动内存占用,并原生包含一个嵌套的、具有 SOTA 水平的 2B 活动内存占用子模型(得益于 MatFormer 训练)。这提供了在无需托管单独模型的情况下,动态权衡性能和质量的灵活性。我们在 Gemma 3n 中进一步引入了“混搭 (mix’n’match)”功能,可以从 4B 模型中动态创建子模型,从而最优化地适应您的特定用例以及相关的质量/延迟权衡。请关注我们即将发布的详细技术报告,了解更多关于这项研究的信息。

  • 隐私优先与离线就绪: 本地执行使功能能够在尊重用户隐私的情况下运行,且即使没有互联网连接也能可靠工作。扩展的音频多模态理解:Gemma 3n 能够理解和处理音频、文本及图像,并显著增强了视频理解能力。其音频功能使模型能够执行高质量的自动语音处理。

  • 改进的多语言能力: 提升了多语言性能,特别是在日语、德语、韩语、西班牙语和法语方面。强劲的性能体现在多语言基准测试中,例如在 WMT24++ (ChrF) 上达到 50.1%。

性能

undefined

许可证

Gemma-3n 模型根据自定义的 Gemma 许可协议 提供。