中文标题#
SpeLLM：字符级多头解码
英文标题#
SpeLLM: Character-Level Multi-Head Decoding
中文摘要#
扩展大语言模型的词汇表通常用于减少输入序列长度并缓解注意力机制的二次成本。 然而，当前的大语言模型架构对此过程造成了关键瓶颈：输出投影层随着词汇量的增加而线性增长，使得大规模扩展变得不切实际。 我们提出了 SpeLLM，一种通过多个输出头预测字符级字符串来解耦输入和输出词汇的方法。 在 SpeLLM 中，k 个线性头同时预测一个字符，使模型能够使用更小、独立的线性头表示更大的输出空间。 我们提出了一种自蒸馏方法，将标准的大语言模型转换为 SpeLLM。 我们在四个预训练的大语言模型上进行了实验，结果显示它们的 SpeLLM 变体在下游任务中表现出色，同时在模型间平均减少了 5.1% 的运行时间。 我们的方法为降低大语言模型的成本提供了一条潜在途径，同时增加了对欠代表语言和领域的支持。
英文摘要#
Scaling LLM vocabulary is often used to reduce input sequence length and alleviate attention's quadratic cost. Yet, current LLM architectures impose a critical bottleneck to this procedure: the output projection layer scales linearly with vocabulary size, rendering substantial expansion impractical. We propose SpeLLM, a method that decouples input and output vocabularies by predicting character-level strings through multiple output heads. In SpeLLM, each of the k linear heads predicts a single character simultaneously, enabling the model to represent a much larger output space using smaller, independent linear heads. We present a self-distillation approach for converting a standard LLM to a SpeLLM. Our experiments with four pre-trained LLMs show their SpeLLM variants achieve competitive performance on downstream tasks while reducing runtime by 5.1% on average across models. Our approach provides a potential avenue for reducing LLM costs, while increasing support for underrepresented languages and domains.
PDF 获取#
抖音扫码查看更多精彩内容