英偉達發表頂級AI芯片H200 推理速度翻倍

【2023年11月14日訊】(記者陳霆綜合報導)英偉達(Nvidia,又譯輝達)週一(11月13日)宣布,在目前頂級人工智能(AI)芯片H100的基礎上進行一次重大升級,發布新一代的H200芯片。

相較於H100,H200的內存帶寬提高1.4倍、容量提高1.8倍,顯著提升處理密集型生成式人工智能(AI)工作的能力。

英偉達表示,H200採用高帶寬內存(HBM3e)規格,使GPU內存帶寬從H100的每秒3.35TB提高至4.8TB,內存總容量也從H100的80GB提高至141GB,與H100相比,對Llama 2模型的推理速度幾乎翻倍。

值得注意的是,H200還能與已支援H100的系統相容。H200預計將於明年第二季度開始交付。英偉達尚未公布價格。

英偉達沒有透露新的內存芯片供應商,但美光科技(Micron)9月份表示,它正爭取成為英偉達的供應商。

此外,英偉達還從韓國SK海力士購買了內存。SK海力士上個月表示,因英偉達訂單挹注,讓該公司第三季度的銷售寫下了好成績。

英偉達表示,亞馬遜網絡服務(Amazon Web Services)、谷歌雲(Google Cloud)、微軟Azure和甲骨文雲基礎設施(Oracle Cloud Infrastructure)都將成為首批購買H200芯片的雲服務提供商。

「三藩有話説」立足華人社區,服務華人朋友,堅守傳統媒體的良知與價值觀,向民眾傳遞真實的資訊。請關注我們的社媒主頁,及時獲取最新咨詢!

看完這篇文章您覺得:

已經有 0 次投票 抢沙发
相關文章
文章評論區

发表评论