金沙巴黎人娱乐城app娱乐他们是第一个展示它奈何影响下贱性能-2024年金沙巴黎人娱乐城(中国大陆)官方网站-登录入口

陈丹琦团队又带着他们的降本大法来了——金沙巴黎人娱乐城app娱乐

数据砍掉三分之一，大模子性能却完全不减。

他们引入了元数据，加速了大模子预锻练的同期，也不增多单独的计议支出。

在不同模子规模（600M - 8B）和锻练数据来源的情况下，均能已毕性能方面的普及。

天然之前元数据道过好多，但一作高天宇暗示，他们是第一个展示它奈何影响下贱性能，以及具体奈何实际以确保推理中具备无数实用性。

来望望具体是奈何作念到的吧？

元数据加速大模子预锻练

言语模子预锻练语料库中存在着格调、领域和质地水平的广泛互异，这关于开导通用模子智商至关蹙迫，然则高效地学习和部署这些异构数据源中每一种数据源的正确行径却极具挑战性。

在这一布景下，他们提议了一种新的预锻练方式，称为元数据革新然后冷却（MeCo，Metadata Conditioning then Cooldown）。

具体包括两个锻练阶段。

预锻练阶段（90%），将元数据（如文档 URL 的通盘域名 c）与文档拼接（如 " URL:   en.wikipedia.orgnn [ document ] "）进行锻练。

（举例，如若文档的 URL 是   https://en.wikipedia.org/wiki/Bill   Gates，那么文档 URL 的通盘域名 c 即是 en.wikipedia.org；这种 URL 信息在许多预锻练语料库中王人很容易得到，它们大多来自 CommonCrawl2（一个洞开的收罗捏取数据存储库））

当使用其他类型的元数据时，URL 应替换为相应的元数据称号。

他们只计议文档符号的交叉熵归天，而不辩论模板或元数据中的符号，因为在初步实验中发现，对这些符号进行锻练会稍稍毁伤下贱性能。

终末 10% 的锻练技术为冷却阶段，使用轨范数据锻练，罗致元数据革新阶段的学习率和优化器情状，即从上一阶段的终末一个查验点开端化学习率、模子参数和优化器情状，并连接字据经营诊治学习率：

1）禁用跨文档 Attention，这既加速了锻练速率（1.6B 模子的锻练速率提高了 25%），又提高了下贱性能。

2）当将多个文档打包成一个序列时，咱们确保每个序列从一个新文档开端，而不是从一个文档的中间开端—当将文档打包成固定长度时，这可能会导致一些数据被丢弃，但事实解释这有益于提险阻游性能。

本次实验使用了 Llama Transformer 架构和 Llama-3 tokenizer。咱们使用四种不同的模子大小进行了实验：600M、1.6B、3B 和 8B，以及估量优化树立。

为止裸露，MeCo 的推崇赫然优于轨范预锻练，其平均性能与 240B 符号的基线非常，而使用的数据却减少了 33%。

终末归来，他们主要完成了这三项孝顺。

1、  MeCo 大幅加速了预锻练。

实考解释，MeCo 使一个 1.6B 的模子在少用 33% 的锻练数据的情况下，达到了与轨范预锻练模子疏导的平均下贱性能。在不同的模子规模（600M、1.6B、3B 和 8B）和数据源（C4、RefinedWeb 和 DCLM）下，MeCo 裸深远一致的收益。

2、MeCo 开启了指令言语模子的新方式。

举例，使用 factquizmaster.com（非着实 URL）不错提高学问性任务的性能（举例，在零次学问性问题解答中通盘提高了 6%），而使用 wikipedia.org 与轨范的无要求推理比拟，毒性生成的可能性裁减了数倍。

3、消解了 MeCo 的狡计礼聘，并解释 MeCo 与不同类型的元数据兼容。

使用散列 URL 和模子生成的主题进行的分析标明，元数据的主要作用是按来源将文档归类。因此，即使莫得 URL，MeCo 也能有用地整合不同类型的元数据，包括更高超的选项。

陈丹琦团队

论文作家来自普林斯顿 NLP 小组（附庸于普林斯顿言语与智能 PLI）博士生高天宇、Alexander Wettig、Luxi He、YiHe Dong、Sadhika Malladi 以及陈丹琦。

一作高天宇，本科毕业于清华，是 2019 年清华特奖得主，当今普林斯顿五年事博士生，瞻望本年毕业，连接在学界搞考虑，考虑领域包括天然言语措置和机器学习的交叉领域，非常温存大言语模子（LLM），包括构建诈欺步调、提高 LLM 功能和后果。

Luxi He 当今是普林斯顿计议机专科二年事博士生，当今考虑重心是清楚言语模子并改善其一致性和安全性，硕士毕业于哈佛大学。

YiHe Dong 当今在谷歌从事机器学习考虑和工程职责，专注于结构化数据的暗示学习、自动化特征工程和多模态暗示学习金沙巴黎人娱乐城app娱乐，本科毕业于普林斯顿。