80.8K 下载量

google/
gemma-3n-e4b
6.9B
gemma3n

Gemma 3n 是一种多模态生成式人工智能模型,专为手机、笔记本电脑和平板电脑等日常设备使用而优化。

支持视觉 (混合)

上次更新于7 月 8 日
README

Gemma 3n E4B

Gemma 3n 是一种多模态生成式人工智能模型,专为手机、笔记本电脑和平板电脑等日常设备使用而优化。

此模型在参数高效处理方面包含创新,包括逐层嵌入 (PLE) 参数缓存和 MatFormer 模型架构,这些都提供了降低计算和内存需求的灵活性。

E = 有效参数。

支持 32k 令牌的上下文长度。

GGUF 目前仅支持文本。我们正在努力扩展功能并消除此限制。

来源

此模型使用的底层模型文件

当您下载此模型时,LM Studio 会选择最适合您机器的来源(您可以覆盖此设置)

配置

此模型附带的自定义配置选项

提示模板
{{ bos_token }}
{%- if messages[0]['role'] == 'system' -%}
    {%- if messages[0]['content'] is string -%}
        {%- set first_user_prefix = messages[0]['content'] + '

' -%}
    {%- else -%}
        {%- set first_user_prefix = messages[0]['content'][0]['text'] + '

' -%}
    {%- endif -%}
    {%- set loop_messages = messages[1:] -%}
{%- else -%}
    {%- set first_user_prefix = "" -%}
    {%- set loop_messages = messages -%}
{%- endif -%}
{%- for message in loop_messages -%}
    {%- if (message['role'] == 'user') != (loop.index0 % 2 == 0) -%}
        {{ raise_exception("Conversation roles must alternate user/assistant/user/assistant/...") }}
    {%- endif -%}
    {%- if (message['role'] == 'assistant') -%}
        {%- set role = "model" -%}
    {%- else -%}
        {%- set role = message['role'] -%}
    {%- endif -%}
    {{ '<start_of_turn>' + role + '
' + (first_user_prefix if loop.first else "") }}
    {%- if message['content'] is string -%}
        {{ message['content'] }}
    {%- elif message['content'] is iterable -%}
        {%- for item in message['content'] -%}
            {%- if item['type'] == 'audio' -%}
                {{ '<audio_soft_token>' }}
            {%- elif item['type'] == 'image' -%}
                {{ '<image_soft_token>' }}
            {%- elif item['type'] == 'text' -%}
                {{ item['text'] }}
            {%- endif -%}
        {%- endfor -%}
    {%- else -%}
        {{ raise_exception("Invalid content type") }}
    {%- endif -%}
    {{ '<end_of_turn>
' }}
{%- endfor -%}
{%- if add_generation_prompt -%}
    {{'<start_of_turn>model
'}}
{%- endif -%}