老黄GTC重点展示的PD分离技术为何成兵家必争之地？UCSD全华人团队力作，创新性地提出预填充-解码分离技术。在严格的延迟约束下，相比现有最先进的服务系统，可实现高达4.48倍的有效产出率或10.2倍更严格的SLO达成率。

AI时代，Tokens成为新的衡量标准。2024年年初，中国日均Token消耗量为1千亿，而今天每日消耗量已达到了十万亿级，1年增长100倍。这一庞大的Token消耗量背后，是中国正在进入一个“AI应用的黄金期”。

加速AI基建新范式 曙光存储再升级！,parastor,芯片,数据流 ...

鲲鹏RAG一体机解决方案正式发布 openGauss DataVec向量数据库助力DeepSeek行业应用,一体机,向量,鲲鹏,deepseek,钉钉 ...

近年来，大型语言模型（LLM）通过大量计算资源在推理阶段取得了解决复杂问题的突破。推理速度已成为 LLM 架构的关键属性，市场对高效快速的 LLM 需求不断增长。 其中，采用 Transformer ...

我们早在去年10月的《AI Neocloud行动指南》中就强调，产品周期早期部署计算能力的重要性，而这正是驱动H100租赁价格从2024年中期开始加速下跌的原因。我们一直呼吁整个生态系统优先部署下一代系统，如B200和GB200 ...