黄仁勋推出定制内存NVHBM：提升带宽与效能，赋能AI生态

随着AI代理与超大规模计算需求的崛起，传统的HBM内存已经无法满足NVIDIA的需求。公司创始人黄仁勋推出了一种全新设计的高带宽内存NVHBM，这一技术早有筹备。尽管计算能力在AI基础设施中至关重要，但性能的提升还依赖于计算、内存、存储、网络和软件能够紧密协作，共同构建一个全面统一的系统。NVIDIA最近正式宣布将NVHBM集成到其NVLink Fusion架构中。通俗来说，NVHBM是一种针对XPU性能和效率优化的新型高带宽内存技术。

传统的HBM架构将内存控制器与物理层接口放置在XPU主计算芯片上，这种设计不仅占用大量硅片空间，还在多芯片连接时造成复杂的布线和延迟问题。随着模型规模的急剧膨胀，传统架构逐渐成为提升计算密度的瓶颈。而NVHBM则整合了NVIDIA定制的内存控制器到3D HBM堆叠中，创造了更紧凑的PHY接口。与标准的HBM4E相比，NVHBM的带宽增加了30%，功耗降低了15%，同时让XPU释放出25%的计算芯片面积。

广义上讲，XPU涵盖了如CPU、GPU、NPU、TPU、DPU以及FPGA等所有计算处理单元，而在狭义上，XPU则指代除通用CPU和标准GPU之外的专用AI芯片，例如谷歌的TPU和亚马逊的Trainium等。通过NVHBM，XPU能够获得更大的计算芯片面积，进而推动性能提升。此外，作为标准化组件，NVHBM已经被纳入NVLink Fusion生态系统，向合作伙伴开放。

NVLink Fusion是NVIDIA基于NVLink技术推出的开放互联生态与半定制架构方案，原本用于自家GPU与Grace CPU的NVLink高速互联技术，现在可以通过IP授权、芯片模块及设计工具包的形式，供第三方厂商使用。这使得定制AI芯片（XPU）和通用CPU能够接入NVIDIA的机架级NVLink全互联网络，共享现有的AI算力基础设施。简单说，普通的NVLink是NVIDIA设备内部的高速总线，而NVLink Fusion则是其面向外界的“标准接入接口”，允许第三方厂商快速集成。

如今，亚马逊安纳普尔纳实验室已成为NVHBM的首个合作伙伴，双方将共同推动该技术与NVLink扩展架构的整合，进而优化AI工作负载的性能与能效。安纳普尔纳副总裁纳菲亚·布沙拉表示：“NVHBM象征着高带宽内存性能和效率提升的新架构，我们期待这项技术的合作将惠及未来AWS基础设施的设计。”未来亚马逊的Trainium系列AI芯片（从Trainium 4开始）将采用NVLink Fusion接口，旨在实现NVIDIA GPU与自研芯片的高速互联，后续产品则将直接整合NVHBM技术。

另外，NVIDIA在GTC大会上表示，未来的Feynman架构GPU将采用定制HBM方案，这也意味着它将成为首款搭载NVHBM的NVIDIA自研GPU，预计将在2028年下半年正式量产，并采用台积电A16（1.6nm）工艺和3D堆叠封装技术，单卡HBM容量将提升至1TB。值得注意的是，目前NVHBM的技术收益将优先面向NVLink Fusion生态中的定制芯片客户，而已经投入生产的Vera Rubin机架级系统目前尚不支持该技术。