苦涩的教训即将降临标记化
Hacker News 摘要原标题：The Bitter Lesson is coming for Tokenization
在这篇文章中，我们探讨了取代文本中的标记化（tokenization）的可能性，特别是针对大语言模型（LLMs）在这方面的挑战与机遇。文章指出，标记化作为文本转换为模型输入的重要环节，已显示出其脆弱性和局限性，因此有必要构建一个更通用的方法，以便更好地利用计算能力和数据。
标记化，特别是字节对编码（Byte Pair Encoding，BPE），是一种学习的程序，通过反复合并最频繁的标记对，从数据集中提取压缩词汇表。尽管BPE在某种程度上优化了字典的表示能力，但它并不是转换器（transformer）的严格要求。作为文本处理中重要的一步，标记化通常会导致许多下游问题，比如“故障标记”（glitch tokens）现象，以及在处理数字时的表现不佳。这使得我们质疑是否可以完全省略标记化步骤。
文章还提到了多种新的模型，如字节潜在变换器（Byte Latent Transformer，BLT），它们尝试在无标记化的情况下仍然有效地处理文本。BLT模型的架构包括了动态补丁边界的决定、本地编码器、全球转换器和本地解码器。通过引入用于预测字节的简化策略，BLT能够在保留上下文信息的同时，提高模型处理能力和效果。
综上所述，文章通过分析标记化的局限性以及新技术的可行性，提出了一个未来的方向，即更复杂的架构可以在保持高效与灵活的基础上，实现无标记化处理的可能性。这一前景不仅能够降低推理成本，还有助于缓解对计算资源的紧张需求，推动人工智能领域的发展。同时，文章也提醒我们，尽管当前的研究已对标记化问题进行了相当深入的探讨，但仍需进一步研究来揭示先进模型在无标记化状态下的潜力及表现。