gemma 2 27b 由 google 开发

Gemma 2 拥有与 1.1 版本相同的超大词汇量，这有助于提高多语言和编码能力。

Gemma 2 27B 在一个包含 13 万亿个 token 的大型数据集上进行了训练，是 Gemma 1.1 的两倍多，比 9B 模型多 60%，使用了类似的数据集，包括：

• 网络文档：多样化的网络文本集合确保模型接触到广泛的语言风格、主题和词汇。主要内容为英文。
• 代码：让模型接触代码有助于它学习编程语言的语法和模式，从而提高它生成代码或理解与代码相关问题的能力。
• 数学：在数学文本上进行训练有助于模型学习逻辑推理、符号表示，并解决数学查询。

欲了解更多详情，请查看他们的博客文章：https://hugging-face.cn/blog/gemma2