1

熱搜:

熱門行情

最近搜尋

全部刪除

挑戰輝達霸主地位 SambaNova稱SN40L晶片推理表現是H100數倍

鉅亨網新聞中心
非輝達AI晶片爭峰 SambaNova稱SN40L推理表現是H100數倍(圖:shutterstock)
非輝達AI晶片爭峰 SambaNova稱SN40L推理表現是H100數倍(圖:shutterstock)

近日,在 Hot Chips 2024 大會上,美國 AI 晶片新創公司 SambaNova 首次詳細介紹了其 AI 晶片系統—基於可重構資料流單元 (RDU) 的 AI 晶片 SN40L。

據媒體報導,基於 SambaNova 的 SN40L 的 8 晶片系統,可以為 5 兆參數模型提供支持,單一系統節點上的序列長度可達 256k+。對比輝達 (NVDA-US) 的 H100 晶片,SN40L 不僅推理性能達到了 H100 的 3.1 倍,在訓練性能也達到了 H100 的 2 倍,總擁有成本卻僅有其 1/10。

2023 年 9 月,SambaNova 推出了這款新型 AI 晶片 SN40L。該晶片專為運行企業應用程式的大型語言模型而構建,其設計目標是能承載 ChatGPT 高級版本兩倍容量以上的大模型。 

報導稱,全新 SambaNova SN40L“Cerulean” 架構。這是台積電的 5 奈米晶片,具有三層內存,非常簡潔。它也是一種資料流架構,被設計為訓練和推理晶片。

三層記憶體均為 520MB 的片上 SRAM。然後就有 64GB 的 HBM。 然後還有額外的 DDR 記憶體作為容量層。

實際應用中,SN40L 在生成文字、處理影像以及運行大規模 AI 模型時表現出色。尤其在生成自然語言方面,每秒可以高達 1100 個 Token 的生成速度,大幅提升了 AI 應用的效率。

SambaNova Systems 是一家位於美國加州的新創公司,專注於人工智慧晶片和數據分析軟體的開發。該公司成立於 2017 年,由業界知名人士創立,旨在透過軟硬體結合的方式提供一整套解決方案,幫助企業客戶在 AI 領域取得突破。

相關資訊顯示,SambaNova Systems 在 2019 年春季籌集了 1.5 億美元的 D 輪融資,由軟銀投資主導。該公司在 2021 年 4 月又籌集了 6.78 億美元的 D 輪融資。截至 2023 年,SambaNova Systems 已經籌集了超過 11 億美元的風險投資。

相關行情

相關貼文

left arrow
right arrow