Google 的 Gemma 2 9B 指令微调模型

Gemma 2 沿用了 1.1 版本中相同的超大词汇表，这有助于提高多语言和编码能力。

Gemma 2 9B 在包含 8 万亿个令牌的广泛数据集上进行训练，比 Gemma 1.1 大 30%，并使用了类似的以下数据集：

• 网络文档：多样化的网络文本集合确保模型接触到广泛的语言风格、主题和词汇。内容主要为英语。
• 代码：让模型接触代码有助于其学习编程语言的语法和模式，从而提高其生成代码或理解代码相关问题的能力。
• 数学：对数学文本进行训练有助于模型学习逻辑推理、符号表示并解决数学问题。

更多详情请查看他们的博客文章：https://hugging-face.cn/blog/gemma2