AI記憶體的下一戰，不只是把HBM堆得更高，而是直接改變記憶體與GPU的配置方式。南韓記憶體大廠三星電子（Samsung Electronics）記憶體產品規劃部門副總裁崔璋石（Jangseok Choi）1日於SEMICON Taiwan 2026記憶體高峰論壇揭示下一代3D記憶體架構zHBM，將記憶體從GPU旁邊移至GPU上方；相較HBM4E，目標效能最高提升8倍、每瓦效能提高3倍，熱阻降低75%至90%。
三星同時揭露HBM5開發目標，效能預計達HBM4E的2倍，每瓦效能提高20%、熱阻降低20%；並將3D整合延伸至LPDDR5X-PIM及zNAND-O，分別瞄準邊緣AI伺服器與裝置端AI市場。
崔璋石表示，AI正從生成式AI走向可自主推理、規劃及採取行動的代理式AI（Agentic AI），即時回應能力的重要性隨之提高。然而，當模型與運算規模持續擴張，資料在處理器與記憶體之間搬移所產生的延遲、頻寬與能源消耗，已逐漸成為限制AI系統效能的瓶頸。
Custom HBM仍非終點 zHBM從2.5D跨入真3D
現行HBM雖然已將多層DRAM垂直堆疊，但從整個AI加速器來看，HBM與GPU仍是並排放置在中介層上，屬於2.5D封裝架構。隨著HBM堆疊層數、容量與頻寬持續提高，處理器與記憶體之間的水平傳輸距離、中介層面積及散熱能力，仍會形成物理限制。
「Custom HBM非常強大，但它不是最終答案。」崔璋石指出，要進一步突破記憶體牆，必須重新設計記憶體與處理器的空間配置，從現行2.5D架構跨入真正的垂直3D整合。
三星提出的zHBM，不再將HBM放在GPU、CPU或其他AI加速器旁邊，而是直接把記憶體堆疊在處理器上方，藉此大幅縮短資料傳輸距離，並以更密集的垂直互連提高頻寬及能源效率。
依三星設定的開發目標，相較HBM4E，zHBM效能最高可提升8倍、每瓦效能提高3倍，熱阻則降低75%至90%。不過，這些數字屬於下一代架構的設計目標，並非已量產產品的實測結果；效能提升8倍指的也是zHBM記憶體架構，而非導入後整顆GPU效能必然提高8倍。
每款GPU需求不同 zHBM走向高度客製化
由於不同GPU、AI ASIC及其他加速器，在工作負載、介面協定、功耗與散熱條件上均不相同，zHBM不會只是單一規格的標準化產品，而將依據處理器與客戶需求共同設計。
三星規劃在記憶體與AI加速器之間的中介層導入客戶專屬智慧財產權（IP），讓zHBM不只提高容量及頻寬，也能配合GPU架構與實際運算需求進行最佳化。這也意味著，記憶體業者與GPU、ASIC設計商、晶圓代工及封裝廠之間的關係，將從產品供應進一步走向系統共同設計。
崔璋石透露，三星正與全球主要客戶，以及包括台灣業者在內的晶圓代工、封裝合作夥伴開發客製化HBM，並預告下一屆SEMICON Taiwan將會是適合公布首款Custom HBM產品化消息的場合。
HBM4E五月出樣 HBM5效能目標達2倍
在較接近產品化的HBM路線圖上，三星今年5月已開始出貨業界首款12層HBM4E樣品。若單顆GPU配置4組HBM4E堆疊，系統總頻寬最高可達每秒16TB；相較HBM4，HBM4E每瓦效能提高20%，熱阻降低10%。
三星也已著手開發下一代HBM5，設定效能達HBM4E的2倍，每瓦效能再提高20%，熱阻降低20%。換言之，HBM4E與HBM5延續既有HBM產品的世代升級，zHBM則進一步改變記憶體與處理器的配置方式，兩條技術路線將同步推進。
三星此次並提出「CUBE」3D架構策略，分別代表容量（Capacity）、利用率（Utilization）、頻寬（Bandwidth）及效率（Efficiency）。崔璋石表示，透過垂直堆疊，記憶體容量不再受限於印刷電路板面積；重新配置邏輯晶片與記憶體，則可降低延遲、縮短資料移動距離，並進一步改善頻寬、功耗及散熱。
他強調，3D整合不只是把晶片堆得更高，最終目標是降低每一位元資料傳輸所需要的能源，藉由結構最佳化，提升整個AI系統的每瓦效能。
LPDDR5X-PIM實測快3.8倍 最快年底量產
除了大型AI資料中心，三星也將記憶體內運算技術延伸至邊緣AI。崔璋石指出，去年仍處於晶片開發階段的LPDDR5X-PIM，今年已完成實際晶片與封裝，並搭配神經網路處理器（NPU）進行驗證。
PIM（Processing-in-Memory，記憶體內運算）是把部分資料處理功能移入記憶體，減少資料在記憶體與處理器之間反覆搬移。依三星使用Llama 3 8B模型進行的測試，導入LPDDR5X-PIM後，每秒輸出Token數提高約3.8倍，能源消耗則降至傳統記憶體架構的三分之一。
這項產品鎖定採用LPDDR5X的AI加速器與邊緣AI伺服器，預計最快在2026年底至2027年初進入量產。
zNAND-O結合NPU 2028年啟動送樣
三星的3D整合布局也從DRAM延伸至NAND Flash。最新V10 BV-NAND採用新的晶圓鍵合架構，將記憶體單元與周邊電路分開製造後再進行鍵合；相較上一代V9，位元密度提高58%、I／O速度提升33%，功耗則降低25%至26%。
在此基礎上，三星進一步開發3D儲存方案zNAND-O，結合V10 BV-NAND與矽穿孔（Through-Silicon Via，TSV）技術，垂直堆疊多顆V-NAND晶片，再透過UCIe標準介面，與神經網路處理器整合在單一封裝內。
三星設定zNAND-O的位元密度達DRAM的10倍，讀取頻寬為傳統NAND Flash的7倍，主要鎖定裝置端AI與即時資料處理需求，預計2028年開始推出樣品。
攜手台灣晶圓代工、封裝生態系 推進下一代3D IC
不過，記憶體直接堆疊在處理器上方，也會帶來更複雜的互連、結構穩定與散熱挑戰。三星正導入晶圓對晶圓鍵合（Wafer-on-Wafer Bonding）及混合銅鍵合（Hybrid Copper Bonding），縮小互連間距、降低訊號傳輸阻力及熱阻，作為zHBM與zNAND-O走向實用化的技術基礎。
崔璋石表示，三星具備記憶體、邏輯晶片、晶圓代工及先進封裝等能力，但面對下一代3D IC的技術複雜度，單一企業仍無法獨自解決所有問題。台灣則擁有世界級的晶圓製造與封裝生態系，雙方可在3D整合、先進鍵合及散熱等領域深化合作。
隨著AI運算規模快速擴張，記憶體競爭也正從「誰能提供更快、更大容量的HBM」，轉向誰能把記憶體、運算晶片、互連、封裝與散熱整合成完整系統。三星此次揭示的zHBM，正把AI記憶體戰場從產品世代競賽，推向真正的3D架構競賽。
（本文轉載自風傳媒，原文連結：https://www.storm.mg/article/11161111）