近日，国家知识产权局公布了一项由新紫光集团有限公司申请的专利——“KV缓存的管理方法、调度器、介质、设备及产品”，专利公开号为CN119645660A。这一技术突破在AI推理领域引发了广泛关注，尤其是在降低推理系统总成本方面展现出了巨大的潜力。通过主 ...

苏联KV-1重型坦克是美国“现代坦克之母”？这个观点不是天方夜谭，二战后期的M26重型坦克和M24轻型坦克，不少关键技术都来自KV-1的启发。这两种坦克也是美国现代坦克的开端。

LLM 在生成 long CoT 方面展现出惊人的能力，例如 o1 已能生成长度高达 100K tokens 的序列。然而，这也给 KV cache 的存储带来了严峻挑战。为应对这一难题，“hybrid model” ...

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！NEWS焱融新发布AI 存储厂商焱融科技宣布，其自主研发的分布式文件存储系统 ...

AI 存储厂商焱融科技宣布，其自主研发的分布式文件存储系统 YRCloudFile 已成功支持大模型推理场景的 KV Cache 特性，为 AI 推理带来显著价值提升。 KV Cache 通过高效缓存机制加速数据读取，显著提升推理性能，突破 GPU 显存瓶颈，大幅提升推理 GPU 效率和并发处理能力。这意味着用户可以在不增加 GPU 资源的情况下，实现更高并发的推理请求，大幅降低 GPU ...

Tair Serverless KV以全托管、零运维的弹性能力重新定义了云原生数据库的服务边界。其灵活的CU动态调配与存储按需计费模式，不仅化解了传统数据库资源预配的浪费难题，更通过秒级弹性响应与多级容灾架构，为高波动业务提供了兼具成本效益与稳定性的技术底座。