栏目分类
热点资讯
欧美合集 iPhone 15 也可运行，Hugging Face 推出“SmolLM”小言语模子
发布日期：2024-07-21 08:50 点击次数：113
IT之家 7 月 20 日音讯，如今小言语模子运行升温，好多厂商运行推出适用于手机等轻量级开采的“小模子”，本周 Hugging Face 便公布了“SmolLM”小言语模子眷属，其中包含 1.35 亿、3.6 亿及 17 亿参数模子欧美合集，IT之家附容貌如下（点此看望）。
性爱大师3
据先容，这些模子堪称所以用心筹谋的高质地磨练数据集磨练而成，堪称在 Python 关节编写性能上绝顶强大，团队指出他们重心优化了模子所需的 RAM 用量，“即使是在 6GB RAM 的 iPhone 15 上也能运行”。
在磨练方面，Hugging Face 团队率先树立了一款名为 SmolLM-Corpus 的数据集（数据集地址点此看望），该数据集主要包含 Python 素质骨子 Python-Edu、Web 诠释注解骨子 FineWeb-Edu 以及使用 Mixtral-8x7B-Instruct-v0.1 和 Cosmopedia v2 两款模子生成的学问骨子，token 量觉得 6000 亿。尔后 Hugging Face 团队便使用 SmolLM-Corpus 数据集磨练了“SmolLM”小言语模子。
Hugging Face 团队将开发出的 SmolLM 模子与同样参数目的其他模子进行了基准测试，其中 SmolLM-135M 在多项测试中超过了小于 2 亿参数的其他模子；而 SmolLM-360M 的测试收成优于所有小于 5 亿参数以下的模子，不外某些容貌逊于 Meta 刚刚公布的 MobileLLM-350M；SmolLM-1.7B 模子则超过了所有参数目小于 20 亿参数的模子，包括微软 Phi-1.5、MobileLLM-1.5B 及 Qwen2。
