来源：中关村在线

以各类GPT为代表的生成式AI让人们看到了智能世界的无限可能，与此同时，新一代AI技术对IT基础架构的要求也在与日俱增，使得CXL、HBM、光模块市场呈现了高速增长。其中，HBM自2013年上市以来，就被视为推动高性能和加速计算的有效途径之一，HBM是一种基于3D堆栈工艺的高性能DRAM架构，能够实现巨大的内存带宽，尤其是HBM3与CPU整合使用之后，可以显著推动片中内存的发展，让多元的业务负载能够充分受益于共享计算、内存、存储资源融合后的内存级结构创新。

“AI应用和基础设施与內存的成长息息相关。”美光副总裁暨计算与网络事业部计算产品事业群总经理Praveen Vaidyanathan表示，“AI服务器与通用型服务器不同，其所需的內存是一般服务器的六至八倍，其中包括与CPU相连的內存，如DDR、与GPU相连的內存，如HBM，以及其他相关的內存解决方案。由于HBM能支持AI应用和服务器基础构架的成长，我们预测未来三年HBM市场将有巨大增长，年复合增长率超过50%。”

(资料图片)

美光副总裁暨计算与网络事业部计算产品事业群总经理Praveen Vaidyanathan

美光将AI分为三大类，第一类是生成式AI，例如利用Mid-Journey、ChatGPT等生成文字、图片或视频，驱动了大量的计算性能需求和内存需求；第二类是深度学习，例如虚拟助理、聊天机器人和医疗诊断，需要处理大量的数据，会通过算法来诠释数据，并加以预测，是推动AI和高效能计算增长的重要领域；第三类是高效能计算，例如要解决天气预报等重大的科学问题时，会涉及全基因体定序（genome sequencing），这同样驱动了庞大的计算和內存需求增长。

这些应用需要通过服务器等基础设施来支持，像服务器要考虑性能、容量、功耗的要求，驱动生成式AI的LLM（大型语言模型）离不开强劲的算力，这需要足够的内存带宽，通常来说，计算性能的瓶颈超过半数都与內存的带宽有关。随着LLM的参数数量迅速攀升，要在足够小的体积内存放足够多的数据，就需要架构层面的创新，同时，还要确保功耗尽可能低。要知道有数据显示，未来七年内，全球近8%的电力将消耗在数据中心上。

为了满足上述需求，美光推出了首款8层堆叠的24GB容量第二代HBM3内存，其带宽超过1.2TB/s，引脚速率超过9.2Gb/s（NRZ），比当前市面上现有的HBM3解决方案性能可提升最高50%，美光第二代HBM3产品与前一代产品相比，每瓦性能提高2.5倍，可以缩短大型语言模型（如GPT-4及更高版本）的训练时间（减少30%以上），为AI推理提供高效的基础设施，并降低TCO，在已经部署的1000万个图形处理器用例中，单个HBM模块可节约5W功耗，能在五年内节省5.5亿美元的运营费用。2024年第一季度，美光12层堆叠的36GB容量产品也将开始出样。美光第二代HBM3内存会在日本工厂生产，并在中国台湾进行封装。

8层堆叠的24GB容量第二代HBM3内存

据了解，美光采用了互补式金属氧化物半导体（CMOS）技术打造晶体管，并在逻辑基础层和DRAM堆叠中加入了很多制程方面的技术，驱动了更快的时序速度。封装方面，美光提供了两倍的硅通孔（TSV）数量，所有晶粒对晶粒的封装互联缩小了25%（DRAM最上层和下层TSV的距离）。同时，在电路设计上注重时间控制，使速度更快，再加上噪声容限设计（Noise tolerance）等技术，构成了更优的信号完整性、配电网络、电源完整性，获得了更高的性能表现。

提升硅通孔和封装互联数量、DRAM层间空间等设计，可以让内存内部的热量快速从较热层传到较冷层，再加上增加金属密度，并采用高能效数据路径设计，可以解决HBM的热阻抗问题，降低功耗。数据中心的能耗降低后，就可以把更多的电力分配给GPU或ASIC，提升了整体的系统性能和效率。

作为在2.5D/3D堆叠和先进封装技术领域的存储领导厂商，美光也与台积电共同组建了3DFabric联盟，携手推进半导体和系统创新。在第二代HBM3产品开发过程中，美光与台积电携手合作，为AI及高性能计算设计应用中顺利引入和集成计算系统奠定了基础。目前，台积电已收到美光第二代HBM3内存样片，正与美光密切合作进行下一步的评估和测试，助力客户的下一代高性能计算应用创新。

美光将硅通孔（TSV）数量翻倍，增加5倍金属密度以降低热阻，以及设计更为节能的数据通路

硅通孔、DRAM堆叠是由美光独立完成，中介层则是与台积电合作。“尽管美光会自行打造封装，但是我们也会和台积电紧密合作，以便让中介层与内存、GPU、ASIC等元件可以完美整合。”Praveen Vaidyanathan介绍称，“高带宽可以满足AI训练和推理的需求，例如某服务器集群要花三个月的时间训练大型语言模型，采用HBM3之后，可以节省30%以上的训练时间，减少至两个月。在推理过程中，HBM3的使用可以让每天的查询量和提示量增加50%，减少等待时间。”

继LPDDR5、DDR5之后，第二代HBM3内存是美光推出的第三款1β制程的产品，2024年上半年，该公司还将推出基于1β节点、32Gb单块DRAM裸片的128GB容量DDR5模组，同时，美光还在与伙伴合作研发下一代产品，即“HBM Next”，每秒带宽将超过1.5TB，容量会增至36GB以上。为了应对生成式AI领域快速增长的模型规模，HBM可以在设备端以非常高效的方式提供所需的带宽和容量。而在一些AI推理的场景中，需要用到高算力和高內存带宽，但不需要更大的容量，则可以使用GDDR来满足要求。

因此，美光在AI基础设施领域提供了全面的解决方案，例如GDDR6X、GDDR7（研发中，明年推出）可以融入内存组合，满足带宽需求，从GPU内存到CPU内存，192GB、256GB模块将陆续应用，此外，美光也在计划开发满足各类新规格和标准的产品，打造更低功耗的DRAM，满足新一代数据中心的要求，并且在持续探索连接GPU的高带宽內存、CPU的高容量內存、处理器的低功耗DRAM的架构创新。

“可以说，美光在技术、产品、功能上都是领先的，我们在全球有着广泛的研发、设计、制造团队，对于质量有着高标准的执着追求，这种坚持深度融入到我们的设计理念和方法论之中。凭借着我们在产品技术上长期深耕的经验，以及技术的专业性，美光能够在持续推出领先的创新制程、技术及产品的同时，提高制造效率。”Praveen Vaidyanathan表示，“我们在不同领域拥有着很多的客户，包括GPU制造商、数据中心，以及ASIC相关的企业，他们已经收到这些产品并开始进行测试验证，带来的反馈都是很好的，客户觉得非常有价值。”

以各类GPT为代表的生成式AI让人们看到了智能世界的无限可能，与此同时，新一代AI技术对IT基础架构的要求也在与日俱增，使得CXL、HBM、光模块市场呈现了高速增长。其中，HBM自2013年上市以来，就被视为推动高性能和加速计算的有效途径之一，HBM是一种基于3D堆栈工艺的高性能DRAM[LJ(G1] 架构，能够实现巨大的内存带宽，尤其是HBM3与CPU整合使用之后，可以显著推动片中内存的发展，让多元的业务负载能够充分受益于共享计算、内存、存储资源融合后的内存级结构创新。

“AI应用和基础设施与內存的成长息息相关。”美光副总裁暨计算与网络事业部计算产品事业群总经理Praveen Vaidyanathan表示，“AI服务器与通用型服务器不同，其所需的內存是一般服务器的六至八倍，其中包括与CPU相连的內存，如DDR、与GPU相连的內存，如HBM，以及其他相关的內存解决方案。由于HBM能支持AI应用和服务器基础构架的成长，我们预测未来三年HBM市场将有巨大增长，年复合增长率超过50%。”

[LJ(G1]确认一下~这里是不是多了一个S

(8305800)

关键词：