而如果要问：“学区对房价有什么影响？”就是一个典型的inference（推断）问题。 一般来说线性的模型能够提供比较interpretable的inference，但会损失prediction的accuracy。而非线性的模型则相反，能提供更精确的prediction，但牺牲的是inference的interpretability。

automatic differentiation variational inference (ADVI) [9] 通过统一把variational distribution映射到 \mathbb{R}^n ，然后assume映射后的variable服从Normal distribution，继而使用repar。但这时如何较好地transform variables就很重要了，比如对于一个简单的Gamma distribution，不同的transform结果会不同 ...

推断（inference）：可以理解成一种基于充分信息量的预测过程。通常指模型训练（learning）结束后，使用训练好的模型做预测（predict）的过程，比如online inference, variational inference；或者给定 X 取值，观测Y的过程，如causal inference。

下面介绍平均场（mean-field）、蒙特卡洛、和黑盒变分推断 (Black Box Variational Inference) 的方法。 平均场变分族(mean-field variational family) 之前我们说我们选择一族合适的近似概率分布 q(Z;\lambda) ，那么实际问题中，我们可以选择什么形式的 q(Z;\lambda) 呢？

因果推断（causal inference）是问题，基于该问题有不同的解决方法，其中基于Rubin的反事实的框架是最被社会科学，特别是经济学家所熟知的。 在这里，最重要的是如何 定义 因果，以及在何种条件下（理论上）可以 识别 （identify）因果。

什么是推理大模型？DeepSeek R1推理大模型与DeepSeek V3模型的区别是什么？什么时候该使用推理大模型？

看到Frontiermath一下从2分提升到25分，我就知道这不是炒作，这是真正的智能爆炸，断崖式提升，有些人可能质疑其他Benchmark，或者质疑可能是故意刷分，但Frontiermath分数不太可能作币，这代表人类最前沿、最高难度的非公开数学测试集，由陶背书，25分意味着人类顶尖专家了，感觉陶本人做的话给1天 ...

这里triton指的是triton inference server而不是OpenAI的triton，注意区分 本篇也算是triton系列第二篇，接下里会借着triton这个库，一起讨论下什么是推理、什么是推理引擎、推理框架、服务框架等等一些概念，以及平常做部署，实际中到底会做些什么。

我们观察到，随着系统的饱和，FasterTransformer 变得更加接近于静态批处理，而 text-generation-inference 和 Ray Serve 的连续批处理实现正在朝着与 FasterTransformer 的曲线相似的方向发展。换句话说，随着系统的饱和，立即在 GPU 上注入新请求的机会更少，因此请求延迟 …

发现书中的causal inference和AI论文里的有很大出入。Judea Pearl这本书是真的在试图挖掘数据中蕴含的因果关系，而当前AI论文中往往更多的是利用causal inference这么一套概念来编一个故事。换言之，Judea Pearl的因果关系是目的，而AI论文中所谓的因果关系是工具。AI ...