gemma 2 27b it by google

Gemma 2 拥有与 1.1 版本相同的超大词汇量，这有助于提升多语言和编码能力。

Gemma 2 27B 在包含 13 万亿个 token 的大型数据集上进行训练，是 Gemma 1.1 的两倍多，比 9B 模型多 60%，并使用了类似的训练数据集，包括

• 网络文档：多样化的网络文本集合确保模型能够接触到广泛的语言风格、主题和词汇。主要为英语内容。
• 代码：让模型接触代码有助于其学习编程语言的语法和模式，从而提高其生成代码或理解代码相关问题的能力。
• 数学：对数学文本进行训练有助于模型学习逻辑推理、符号表示，并处理数学查询。

更多详情请查看他们的博客文章：https://hugging-face.cn/blog/gemma2