微软的 phi 4

支持 16k token 的上下文长度。

使用 9.8 万亿个 token 进行训练。

使用合成数据、经过筛选的公共领域网站、学术书籍和问答数据集混合进行训练。