目前很多Transformer架构的大语言模型使用了RoPE这种位置编码，而如何将大语言模型的上下文扩展到更长以充分利用大语言模型的上下文学习能力依然是一个开放问题。 在上下文扩展算法中，有很多在理论推导中使用了NTK理论，如NTK aware scaled RoPE [1,2]，YaRN [3]。

Jan 21, 2025 · 图4-6 不同插值方法的效果（这里的scale是指位置插值中扩大的倍数k，alpha是指NTK中的lambda参数或者是公式（15）中的alpha参数） 从图中可以看出在 时，NTK可以在比较小的PPL情况下，外推8k左右的长文本。

基本介绍在神经网络中，neural tangent kernel (NTK) 是描述无限宽深度神经网络在梯度下降训练过程中演化的核。它最开始由Arthur Jacot, Franck Gabriel, 和Clément Hongler在2018年发表的一篇论文中引入 [1]。在…

继Neural Tangent Kernel (NTK)之后，深度学习理论出现了一个理论分支，人们常常称它为feature learning (theory)。 不同于NTK，feature learning认为神经网络在梯度下降过程中可以学习到数据中的feature或者signal。

知乎 - 有问题，就会有答案

Aug 5, 2022 · 没记错的话313的是鹰宫唯，213的是金城梨花

和300NTK-258同一个人，但还是没查到名字求全名

同样的还有李群，泛函，测度这些唬人的概念，说实话还有个NTK。 在ai里面这些你可以认为都有，但是并没有纯数里面的那么复杂，算子你可以退化的认为就是一个简单的映射，卷积也可以从泛函概念中退化成相乘求和。

知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、 …

知乎，中文互联网高质量的问答社区和创作者聚集的原创内容平台，于 2011 年 1 月正式上线，以「让人们更好的分享知识、经验和见解，找到自己的解答」为品牌使命。知乎凭借认真、专业、友善的社区氛围、独特的产品机制以及结构化和易获得的优质内容，聚集了中文互联网科技、商业、 …