2.7K 下载量

17 星标

功能

支持视觉能力 (混合)

最低系统内存

3GB

标签

4.5B
gemma3n

最后更新

更新于 7月8日
lmmy's profile picture
lmmy

README

Gemma 3n E2B

Gemma 3n 是一款多模态生成式 AI 模型,专为在手机、笔记本电脑和平板电脑等日常设备上使用而优化。

该模型在参数高效处理方面进行了创新,包括逐层嵌入 (PLE) 参数缓存,以及一种 MatFormer 模型架构,该架构提供了灵活的计算和内存需求调整能力。

E = 有效参数。

支持 32k 令牌的上下文长度。

GGUF 目前仅支持文本。我们正在致力于扩展其功能并消除这一限制。

参数

此模型附带的自定义配置选项

提示模板
{{ bos_token }}
{%- if messages[0]['role'] == 'system' -%}
    {%- if messages[0]['content'] is string -%}
        {%- set first_user_prefix = messages[0]['content'] + '

' -%}
    {%- else -%}
        {%- set first_user_prefix = messages[0]['content'][0]['text'] + '

' -%}
    {%- endif -%}
    {%- set loop_messages = messages[1:] -%}
{%- else -%}
    {%- set first_user_prefix = "" -%}
    {%- set loop_messages = messages -%}
{%- endif -%}
{%- for message in loop_messages -%}
    {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) -%}
        {{ raise_exception("Conversation roles must alternate user/assistant/user/assistant/...") }}
    {%- endif -%}
    {%- if (message['role'] == 'assistant') -%}
        {%- set role = "model" -%}
    {%- else -%}
        {%- set role = message['role'] -%}
    {%- endif -%}
    {{ '<start_of_turn>' + role + '
' + (first_user_prefix if loop.first else "") }}
    {%- if message['content'] is string -%}
        {{ message['content'] }}
    {%- elif message['content'] is iterable -%}
        {%- for item in message['content'] -%}
            {%- if item['type'] == 'audio' -%}
                {{ '<audio_soft_token>' }}
            {%- elif item['type'] == 'image' -%}
                {{ '<image_soft_token>' }}
            {%- elif item['type'] == 'text' -%}
                {{ item['text'] }}
            {%- endif -%}
        {%- endfor -%}
    {%- else -%}
        {{ raise_exception("Invalid content type") }}
    {%- endif -%}
    {{ '<end_of_turn>
' }}
{%- endfor -%}
{%- if add_generation_prompt -%}
    {{'<start_of_turn>model
'}}
{%- endif -%}