LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” ...

SepLLM团队 投稿量子位 | 公众号 QbitAI 文字中貌似不起眼的标点符号，竟然可以显著加速大模型的训练和推理过程？ 来自华为、港大、KAUST和马普所的研究者，就提出了一种新的自然语言建模视角——SepLLM。