首页 关于展会 展商服务 展会动态 参观服务 资料下载 同期活动 商旅指南 联系我们 ENGLISH
组织机构更多>>
行业动态
AI推理的芯片公司,瞄准Token降本90%   分享到:

       大模型的商业化,正在面对一道具体的算术题:同样的模型、相近的服务体验,每生成一个Token,成本还能降多少?

        这为推理芯片创业公司打开了新的切入口。成立于2026年的熵旋芯智,选择从模型权重的存储与计算方式入手。

      熵旋芯智提出首代MRAM存内计算架构MITA:MRAM In-Memory Tensor Architecture,并将相应处理单元定义为MPU:MRAM-based Processing Unit,旨在通过权重驻留、原位计算与异构协同,改善推理系统的成本结构。

推理成本给新架构留下空间

     理解这家公司的机会,需要先看推理过程中的数据开销。

      大模型生成内容时,Decode阶段需要逐步生成Token。在单请求或较小批量下,权重读取难以被大量Token摊销,更容易受到存储带宽和数据访问开销限制;上下文变长后,KV Cache访问也会持续增加。

     芯片标称算力更高,并不必然带来同等幅度的推理效率提升。客户还需要考虑带宽、容量、通信,以及实际负载下的资源利用率。

      不同架构正在寻找各自的优化路径。GPU依靠并行计算、高带宽存储和成熟的软件生态支撑主流推理;Groq LPU通过片上SRAM、专用计算与确定性执行机制,提高数据访问和计算效率,同时需要平衡容量、芯片数量与互连成本。

     熵旋芯智选择进一步融合存储与计算:让部分矩阵运算直接在存储权重的MRAM阵列中完成。其机会在于,能否针对特定负载形成明确的效率收益,并进入现有推理系统。

MITA改变

权重参与计算的方式

      相较于SRAM,MRAM具有非易失性及更高存储密度的潜力,为片上部署模型权重提供了新的选择;MITA进一步让权重在存储阵列内部参与计算。

     在MITA架构中,模型权重经过量化与映射后驻留于MRAM阵列。推理时,输入激活信号进入阵列,利用MRAM器件特性完成相应矩阵运算,再经读出、模数转换和数字处理形成结果。

其差异化既来自减少权重的反复搬运,也来自将存储与部分矩阵计算融合于同一阵列。

     MITA重点面向权重密集型线性运算,尤其是MoE模型的专家前馈网络。MoE通过每次调用少量专家扩大模型参数规模,也带来了大量专家权重的存储、动态调用和跨设备调度需求。MITA希望利用权重驻留与原位计算,减少专家计算中的重复权重访问开销。

     在异构系统中,MPU承接适合映射的计算任务。注意力计算、KV Cache访问及不适合阵列执行的操作,仍需GPU与配套计算、存储资源协同完成。超大规模MoE模型则需要结合阵列容量、量化精度和专家分配策略,采用多芯片协同部署。

      这一定位,为MITA划定了价值边界:围绕权重密集型计算,争取成为推理系统中的专用执行单元。

从技术潜力走向客户采购

      创投视角下,架构差异能否形成生意,需要看它如何转化为客户收益。

     对于云厂商和模型服务商,阵列能效只是评估的一部分。采购还要看单位Token成本、响应延迟、并发能力,以及接入现有系统的改造代价。

      MITA需要完成从阵列到系统的验证:在满足模型精度要求的同时,控制器件差异、读出误差和外围电路的面积与功耗;在多芯片部署中处理专家分配、通信延迟和负载均衡,避免新增开销抵消阵列收益。编译器与运行时则需要将合适的算子交给MPU,并协调异构执行。

     MRAM制造工艺的持续推进,为这条路线提供了工艺基础。存内计算仍需完成自身的芯片与应用验证,才能将器件优势转化为可交付的系统能力。

     公司将单位Token推理成本降低90%作为中长期技术与商业目标。这一目标需要在相同模型、精度、并发规模、上下文长度和服务质量要求下,综合核算设备投入、功耗、运维以及异构通信成本。

     对熵旋芯智而言,接下来的关键,是将MRAM的器件特性转化为完整芯片与异构系统的效率优势。随着芯片验证和客户负载测试推进,MITA的商业价值,将逐步体现在端到端推理表现和单位Token成本中。





上一篇:没有了    下一篇:对象存储增速约为市场两倍,浪潮数据存储全

版权所有:上海、北京、深圳国际数据存储展览会组委会

联系人:潘老师 先生               手机/微信:188-0182-3515             沪ICP备20019626号-6
商  务 QQ : 916984267            E-mail : 916984267@qq.com

  • 点击这里给我发消息
  • 点击这里给我发消息