宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

筆記本跑百億大模型?在 AMD 這裡沒問題

2025年03月18日 首頁 » 熱門科技

 

筆記本跑百億大模型?在 AMD 這裡沒問題

 

在沖向 AI PC 的賽道上,每一個晶片、設備企業都生怕落後。

這場競速賽,目前蘋果生態大幅領先,愛范兒在上周的 Mac Studio 評測中,成功在本地部署並運行 DeepSeek Q4 量化版 671B 和 70B 版本,而且 token 吞吐性能不錯,展現了 M3 Ultra 晶片以及高達 512GB 統一內存的實力。

而在 x86 陣營這邊,目前最有競爭力的「車隊」AMD,正在試圖加速超車。

在 3 月 18 日舉辦的 AMD AI PC 創新峰會上,公司高級副總裁、計算與圖形總經理 Jack Huynh 展示了在 AMD 架構筆記本電腦上運行 DeepSeek 大模型的能力。

根據現場展示,一台搭載 AMD 銳龍 AI Max 395 處理器的筆記本電腦,順利運行了 DeepSeek-通義千問融合 7B 大模型。Token 秒速並沒有公開,但根據現場肉眼觀測的結果,結合我們過往在不同機型上測試的經驗,現場速度應該至少能夠達到 15 tok/s 以上。

 

筆記本跑百億大模型?在 AMD 這裡沒問題

 

需要說明的是,根據現場 demo 區顯示,這一部署和運行結果依賴 AMD StrixHalo LLM 軟體,一個 AMD 開發的大模型運行環境。根據我們的理解,背後邏輯簡單來說,AMD 會對支持的大模型進行內部優化,顯著降低單位 token 激活參數成本,然後再將支持能力通過銳龍 AI 軟體實裝到用戶本地設備。

而銳龍 AI Max 處理器家族本身也支持了更高的顯存分配能力。在現場我們看到,AI Max 支持最高 96GB 的顯存分配,讓處理器集顯獲得了高端獨立顯卡才能實現的性能,而這一性能既可以用於 AI 訓練和推理計算,也可以用於遊戲。

經過優化之後,參數量再大也不愁。在 demo 區的示例中我們看到,前述同款晶片在華碩 ROG 幻 X 2025 款筆記本電腦上,最高可以運行 Meta 開發的 Llama 3.1 70B 大語言模型。

儘管參數量極大,過往對硬體要求也極高,遠超過去業界對於移動計算設備本地推理能力的認知上限——筆記本電腦現在也可以順利且輕鬆地運行數百億參數量的大模型了。

AMD 這樣做的目的,是確保基於大模型的企業級應用和科研能力,能夠被普及到 x86 陣營的筆記本,甚至配置更輕便的移動計算設備。目前,AMD AI PC 環境支持 DeepSeek 1.5B、7B 等主流型號的大模型。

如果筆記本不足夠的話,AMD 也為真正的重型用戶提供了能夠運行 DeepSeek R1 全參數大模型的伺服器方案,領先了英偉達一步(後者可能會在明天凌晨更新 AI 計算集群模塊化產品)。

現場展示了兩種不同方案,其一是 AMD 自主的方案,基於 vllm 框架,採用 8 x W7900/78000 顯卡,可以完全離線本地部署 DeepSeek 671B,為企業內部研發和智慧財產權保駕護航。

 

筆記本跑百億大模型?在 AMD 這裡沒問題

 

其二是 AMD 和群聯電子合作的 aiDAPTIV 方案,大致邏輯是讓顯卡通過 NAND 閃存擴展內存,從而打破單卡的顯存瓶頸。通過現有 AMD 顯卡,同樣可以在單機的形態下實現 DeepSeek 671B 全參數級別訓練的能力。

 

筆記本跑百億大模型?在 AMD 這裡沒問題

 

當然,大多數人只是純粹的 AI 應用用戶,而非開發者。所以 AMD 在這次峰會現場也和 OEM 合作夥伴一起,展示了各類主流形態的消費級 AI 應用。

很有意思的是現場的 demo 之一,由清醒異構開發,基於 AMD Ryzen AI 平台的大模型圖片生成工具「繪夢師」。它支持文生圖、圖生圖、邊畫邊生圖等生成模式,而且完全可以在本地運行,不需要聯網。

 

筆記本跑百億大模型?在 AMD 這裡沒問題

 

再比如聯想展示的個人智能體「小天」作為 PC 端的 AI 入口,其背後的大模型可以根據個人數據訓練和優化,在前台具備任務分解和規劃、自然交互、長期記憶、工具調用等能力。

最近一年時間裡,AI 技術發展的太筆記本跑百億大模型?在 AMD 這裡沒問題過於迅猛,能力上限一再提高,大模型可選項也與日俱增。但受制於設備本地計算能力,PC 行業也在面臨很大的挑戰。

而考慮到最大的友商目前面臨非技術困難,AMD 作為 x86 陣營另一個底層計算技術頭部廠商,認為自己必須肩負責任,迎接挑戰,領導變革,讓 AI 能夠真正通過 AI PC 進入千家萬戶和千行百業。

 

筆記本跑百億大模型?在 AMD 這裡沒問題

 

在峰會上,AMD 給了 OEM 合作夥伴很大的露出機會。包括微軟、聯想、華碩、宏碁、惠普等生態合作夥伴,紛紛帶來了基於最新 AMD 銳龍 AI 處理器家族的 PC 新品。

AI PC 的品牌和機型的選擇權寬度,AI PC 產品本身的大模型運算能力,以及不同消費級場景的應用豐富度,對於 PC 品牌和晶片廠商們在 AI 時代守住本陣營市場份額尤為重要。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新