【新智元導讀】如今炙手可熱的AI PC之戰，英偉達也下場了！RTX GPU給1億打工人加持的算力，已經破了紀錄，生圖、視頻、會議、直播，統統被RTX AI史詩級升級；《黑神話：悟空》《永劫無間》的玩家，更是雙廚狂喜！

昨天深夜，英偉達CEO黃仁勛甩出能訓萬億參數大模型的新核彈B200，直接打破了摩爾定律。

同時推出的AI推理微服務NIM，號稱能讓全世界用上AI。

與此同時，英偉達又為1億RTX PC用戶和開發者，更新了AI應用和工具，直接要讓我們快進到AI PC時代：

一臺筆記本，Instant ID 15秒就能做出一張影樓級質量的肖像照；

一張RTX 4090D，Stable Diffusion更是達到了8張圖/秒的生成速度；

Sora大火之余，英偉達已經在和剪映，共同探索生成式AI在視頻制作上的落地；

國產游戲之光《黑神話：悟空》，在全景光追和DLSS 3.5的加持下，畫面已經得到了史詩級提升。

準備好，一場RTX AI PC的革命之火，已經被引爆。

RTX AI PC革命來襲！

早在2018年，英偉達就已經在探索AI PC的雛形了。

當時，隨著RTX技術和首款專為AI打造的消費級GPU（GeForce RTX）的推出，英偉達加速了向AI計算的轉變。

在RTX GPU上，這些專用的AI加速器，也就是我們熟知的Tensor Core。

即使運行要求極為嚴苛的工作和娛樂應用，它都能顯著加速AI性能，還能讓PC用戶用上在云端才能運行的新功能。

從軟硬件到生態加速，英偉達正憑借實力，有力地證明了這一點：RTX就是AI PC的核心。

硬件方面，新一代GeForce RTX GPU提供的算力，不僅從200 AI TOPS到1300 AI TOPS全覆蓋，還提供了筆記本、臺式電腦的多樣選擇。（TOPS即teraops，萬億次運算/秒）

相較之下，沒有獨立GPU的AI PC，算力僅為10到45 TOPS。

軟件層面，從2018年到現在，全球搭載英偉達RTX GPU的PC已經有超1億的用戶。

如今，它所加持的領域，已經覆蓋了AI繪畫、平面設計、視頻編輯/體驗、3D創作，到AI游戲、游戲開發，再到AI應用開發、文檔助手等等。

地表最快Stable Diffusion

有了RTX AI，創作者可以專注于創意本身，無需在等待系統加載，乏味的重復性工作上浪費時間。

只用一張RTX 4090D，Stable Diffusion就能在每秒內生成8張圖片，迅速讓創意成為現實。

NVIDIA TensorRT的引入，徹底改變了游戲規則。

通過8位量化成為當前SD最快的加速方法，最快可達120 imgs/s。（StreamDiffusion）

開啟TRT之后，1分鐘的視頻生成比以往快了足足30秒，效率提升了40%。

以及當前已經支持支持SD 1.5 & 2.1、SDXL、SDXL Turbo、LCM以及Stable Video Diffusion等模型的加速。

另外，CUDA還提供了對LoRA、ControlNet、微調、AnimateDiff、InstantID等模型支持

圖像編輯

想要一張質量不錯的肖像照，但只能用電腦攝像頭拍一張很糊的照片，怎么辦？

答案非常簡單：只需上網找一張自己想要的「模板」，再用Instant ID把它和自己的人臉融合在一起，就能得到一張質量不錯的照片了，甚至在影樓還不一定拍出這樣的效果。

而這一整套工作流，在一臺RTX 4090筆記本上就能完成。

這，就是真正的生產力，真正面向專業用戶的AI PC應用。

另外，修圖師還可以通過Photoshop快速實現對圖片各種細節的處理和編輯。

視頻制作

視頻剪輯工作者可以更輕松使用AI加持在深度圖生成、表面追蹤、風格轉換等工作流中的高級效果。

就拿轉描（突出顯示圖中某個元素）來說，如果要靠人工完成，就需要逐幀選出下圖中的「頭戴式耳機」，這無疑會消耗大量時間。

借助AI，只需選擇耳機就可以創建蒙版，再讓AI具體裁剪出確切的形狀，并且可以跨越不同幀進行追蹤。

與30系相比，RTX 40系顯卡，直接將這一性能提升了70%。

另外，RTX 40系擁有第八代NVENC AV1編碼器，滿足了不同工作者對導出視頻格式的需求。

英偉達還在和國內深受用戶喜愛的剪輯軟件剪映專業版，共同探索推進生成式AI在PC端的落地。

目前，已通過TensorRT推動剪映AI藝術字功能上線，并正在通過RTX AI平臺加速生成式AI在剪映產品功能中的應用。

AI 3D創作

3D創作者通過UE等AI工具，加速3D創作渲染。

生成式3D材質，也可以用RTX AI來加速。

視頻會議/直播

在視頻會議/直播中，RTX AI還能做到多項流媒體質量的優化。

比如，這個全新上線的目光接觸功能，可以輕松矯正人物的眼神方向。

別看現在鏡頭里的人正在看腳本，目光接觸功能一開，他的目光就會立馬看向鏡頭了！

此外，還有虛擬背景、虛光濾鏡、噪音消除等多項功能。

游戲開發

毋庸置疑，RTX AI更是強化游戲體驗的利器。

游戲開發者們可以利用生成式AI創建自己的游戲MOD、重制游戲助手、自動捕獲游戲場景。

可以在NVIDIA Ominiverse中，通過生成式AI重制物體材質。

AI增強的光追技術，能夠讓游戲環境更加真實。

更重要的是，開發者們可以為游戲制作支持實時光追、DLSS 3/DLSS 3.5的RTX重制版。

這不，一些玩家、開發者、創意者們，已經開始用上RTX AI了。

DLSS 3.5：游戲體驗史詩級提升

剛剛開幕的英偉達游戲開發者大會，簡直讓玩家們激動到把拳頭捏爆。

包括多款 RTX 游戲的最新消息：《黑神話：悟空》，《永劫無間》，《星球大戰?：亡命之徒》，《暗黑破壞神IV》，光聽名字，就讓人想起立致敬。

特別值得一提的是：在今年的GDC上，英偉達宣布，支持DLSS 3.5的游戲陣營進一步擴大！

國產游戲之光、質量和流量的扛鼎之作——《黑神話：悟空》，就將支持全景光線追蹤和DLSS 3.5。

雖然還未正式推出，但這兩年江湖上一直有它的傳說，眾多玩家都在翹首以盼。

果然，玩家們果然沒有白等——在光追和DLSS 3.5的加持之下，無論是場景，光影，還是畫面細節，體驗都全部刷新！

如今，《黑神話：悟空》的B站預告片觀看數已破228萬，網友紛紛追問：這真是實機畫面，不是渲染的？

想象一下這個畫面：打開搭載 GeForce RTX 顯卡的PC，開啟支持光線重建技術的NVIDIA DLSS 3.5 和全景光線追蹤，接下來，就是一場視覺盛宴。

為什么通過DLSS 3.5呈現的畫面如此激動人心？

原因在于，它包含了英偉達全新的DLSS光線重建技術（Ray Reconstruction），利用全新統一的AI模型，取代了多個人工設計的光線追蹤降噪器。

因此，光線追蹤效果和全景光線追蹤的圖像質量，再次得到了史詩級提升。

而在《黑神話：悟空》中開啟全景光追后，我們就可以更加沉浸式地體驗史詩級的游戲場景。

可以看到，水面上可以反射出周圍所有場景的細節。

水的散焦效果，進一步增加了場景的真實感，光的折射和反射效果，都被渲染得更好。

全景光追的全局光照，也讓室內外的光照效果更加完美，即使是因被遮擋而無法照亮的較暗區域，也會通過反射光被照亮。

在光照系統的配合之下，無論是接觸處的硬化陰影，還是光追帶來的柔化陰影，都可以輕松投射到各處。

小到葉片和卵石上每一處最小的陰影，大到主角、巨大的怪獸、擁有精致外表的建筑，全部被細致入微地刻畫了出來。

下面是一波高清大圖，請欣賞：

此外，率先將支持DLSS 3.5的，還有在國內外游戲社區中人氣超高的國產多人動作競技端游《永劫無間》。

《永劫無間》會在PVP和PVE模式下的三個地圖中，添加全景光線追蹤，之后也將在更多地圖中陸續支持全景光線追蹤。

更豐富細致的全景光線追蹤效果，可以讓全局光照、反射、環境光遮蔽和陰影得到全面優化，而DLSS 3.5的光線重建技術，會讓這些效果進一步增強。

具體來說，DLSS 3.5通過將人工降噪器替換為英偉達超級計算機訓練的AI網絡（在采樣光線之間生成更高質量的像素），提升了GeForce RTX GPU光線追蹤圖像的質量。

同時，DLSS 3.5 AI網絡的訓練數據量也是DLSS 3的5倍，可識別不同的光線追蹤效果，從而可使用時間和空間數據做出更明智的決策，并保留高頻信息以實現更高質量的圖像效果。

此外，光線重建還會從訓練數據中識別光照模式，例如全局光照或環境光遮蔽等，并在游戲中重新創建。其最終效果比需要人工設計的降噪器更出色。

而DLSS 3.5除了能夠讓新游戲帶來更好的性能表現和畫面效果外，還能讓用新技術復刻的老游戲重新煥發光彩。

《傳送門》RTX版是首款采用NVIDIA RTX Remix打造的游戲，這是一種變革性的Mod工具，可幫助Mod玩家升級和重制經典游戲。

現在，《傳送門》RTX版也將支持NVIDIA DLSS 3.5，利用AI驅動的光線重建(Ray Reconstruction)技術，提高全景光線追蹤的保真度和全局動態照明效果的響應速度。

在DLSS 3.5加持之下，GeForce RTX 4090的幀率可提升至原來的6.2倍，GeForce RTX 4080 SUPER的幀率可提升至原來的6.7倍，游戲速度分別能達到100 FPS和70 FPS。

除了這些新鮮出爐的游戲大作之外，目前已有超500款游戲和應用支持NVIDIA RTX技術，未來還會有更多大作加入。

比如《星球大戰?：亡命之徒》：

《戰國王朝》：

在封建日本的動蕩時期，玩家可以建立并成為自己王朝的主宰

《暗黑破壞神IV》：已經支持DLSS 3，將于3月26日支持光線追蹤。

ACE：AI NPC「活了」

除此之外，英偉達還利用「世界級數字人技術」讓那些游戲NPC們活了！

同時，還為商業應用創建了栩栩如生的數字化身。

其中就包括，用于語音和動畫的NVIDIA ACE、用于語言功能的NeMo，以及RTX渲染技術。

這些技術都將成為開發者創建，AI驅動的自然語言交互的數字人的基石。

去年GTC大會上，老黃發布會上直接與游戲NPC實時對話，網友表示這簡直顛覆了整個游戲行業。

這一次，英偉達直接帶來了更多行業里的應用。

在GDC 2024上，英偉達與InWorld聯手呈現了全新的技術Demo——Covert Protocol。

有了Covert Protocol，每個玩家的體驗都是獨一無二的。

因為NPC可以在游戲世界中感知周圍世界，做出決策和行動，突破了游戲中角色互動的局限。

這里，你扮演的是一名私家偵探，將根據與場景中人物的對話結果完成目標。

它們可以學習和適應，表現也會存在細微差別，有時還會自主發起行動。

針對同一場景，NPC有著豐富的語言表達能力。

具體來說，InWorld引擎集成了NVIDIA Riva自動語音識別技術，可實現精確的語音轉換文字。

同時NVIDIA Audio2Face提供逼真的面部表情，增強了動畫效果。

而在InWorld端，開發人員可以針對每個特定的NPC調整各種參數：個性、知識和認知、目標、場景、安全性、長期記憶。

InWorld引擎可以讓游戲開發人員，添加更多響應玩家的行為「多模態AI智能體敘事」。

它將認知、感知和行為系統集成在一起，在精心制作的環境中呈現令人驚嘆的RTX渲染角色，以實現身臨其境的敘事效果。

另一家游戲巨頭育碧也開始利用Inworld和NVIDIA ACE技術，來探索數字人在游戲中可能性。

最具代表性的項目是NEO NPC——讓游戲NPC可以自由即興對話。

Inworld的角色引擎和LLM技術，使育碧的敘事團隊能為每個NPC建立完整的背景、知識庫和對話風格，而NVIDIA ACE技術套件中的NVIDIA Audio2Face則用于實現實時面部動畫。

育碧通過三個獨立技術Demo展示了NEO NPC的功能。

每個場景都側重于NPC行為、環境和上下文意識的不同方面；一系列實時反應和動畫；以及連續對話、協作和戰略決策。

這些實驗發現突破了游戲設計和沉浸感的界限。

另外，《誅仙世界》、《渾噩》也將 Audio2Face 加入了開發流程。

Audio2Face可以精準生成口型同步，讓腳本編寫人員更容易為《誅仙世界》添加新配音內容。

在醫療行業中，數字助理可以為世界各地的患者提供有用、及時和準確的信息。

初創公司HippocraticA創建了由NVIDIA ACE加持的醫療保健智能體，可以給患者打電話，跟進護理協調任務，提供術前指導，執行出院后管理等。

NVIDIA App：一個應用搞定一切

為了讓玩家擁有更加流暢無縫的使用體驗，英偉達還推出了全新的NVIDIA app——它最大的亮點是：無需登錄即可更新驅動。

它還徹底解決了之前GeForce Experience使用體驗卡頓，在后臺資源占用過大的問題。響應速度提升50%，磁盤占用減少17%。

而且無論是游戲發燒友還是內容創作者，NVIDIA app都能讓用戶更輕松及時地更新到最新的驅動，讓用戶快速找到和安裝NVIDIA Broadcast和NVIDIA Omniverse等最新應用。

GPU「大一統」控制中心：最優游戲設置 + 驅動配置。

NVIDIA app將GeForce Experience的游戲設定優化功能與NVIDIA控制面板的3D設置整合到一個統一的界面中。

玩家能在一個集中的應用中查看修改各種優化選項，同時調整驅動程序設置。

玩家可以針對游戲和應用自定義控制中心選項，也可以對所有游戲和應用使用全局配置文件。

全新升級的驅動面板：快速查看概要，獲取最新驅動信息。

在「驅動程序」頁面中，玩家可以快速了解每次驅動更新的重點內容。

如果玩家想要查看具體的更新或者是修復細節，也能方便的獲取到全部的細節信息。

全新的游戲覆蓋界面：實時統計數據顯示，支持120 FPS ShadowPlay錄制。

NVIDIA app還重新設計了游戲中的浮窗，玩家依然可以方便地使用「Alt+Z」快速調出Shadowplay錄制工具、Freestyle 游戲濾鏡、NVIDIA Highlights、照片模式和性能監控工具。

重新設計的統計信息浮窗，增強了性能監控功能。

玩家可以通過多種選項自定義性能浮窗在游戲期間的顯示方式，最大限度地減少HUD占用的空間。

全新的AI圖像濾鏡：支持RTX HDR和RTX數字自然飽和度。

借助NVIDIA Freestyle，玩家可以利用實時后處理濾鏡為自己喜愛的游戲打造個性化的視覺效果。

由玩家喜愛的Digital Vibrance（數字自然飽和度）功能改進而來的RTX Dynamic Vibrance（RTX數字自然飽和度）可針對每個應用增強視覺清晰度，讓玩家能夠靈活、方便地調整每個游戲的視覺設置。

它不僅能在屏幕上呈現更多顏色，而且可以在不同的顏色之間實現完美平衡，最大限度地避免顏色崩壞，保證圖像質量和沉浸感。

而RTX HDR是一款新的AI增強Freestyle濾鏡，可以將高動態范圍 (HDR) 的艷麗視覺效果無縫引入到原本不支持HDR的游戲中。

借助RTX HDR濾鏡，現在玩家可以利用兼容HDR的顯示器暢玩DX12、DX11、DX9和Vulkan平臺上運行的大量游戲。

NVIDIA app還能讓用戶方便探索英偉達的各類前沿應用：包括NVIDIA ICAT、NVIDIA Omniverse等。

ChatRTX：專屬大模型，本地就能跑，還免費開源

英偉達在前段時間也上線了自己第一款支持本地運行的大模型技術demo——Chat with RTX。

Chat with RTX（簡稱ChatRTX），使用檢索增強生成、NVIDIA TensorRT-LLM軟件和NVIDIA RTX加速，將本地生成式AI功能引入到支持RTX的Windows系統中。

用戶可快速、輕松地將本地文件作為數據集連接到開源大語言模型，快速查詢與上下文相關的答案。

想要運行Chat with RTX的要求也非常簡單，用戶在搭載 NVIDIA GeForce RTX 30 系列或更高版本的 GPU（至少 8GB 顯存）進行本地部署，打造個人專屬聊天機器人。

目前，Chat with RTX已經可以支持Mistral、Llama2等多款開源模型。

但很快，Chat with RTX將增加對語音、圖像和新模型的支持。

RTX AI工具：全面加持開發者

LLM巨大的參數規模，讓「部署和推理」的難度和成本一直居高不下。

為此，英偉達推出了一款專門用于提升AI推理性能的開源軟件——TensorRT-LLM。

TensorRT-LLM將TensorRT的深度學習編譯器、FasterTransformer的優化內核、預處理和后處理以及多 GPU/多節點通信，封裝在一個簡單的開源Python API中。

開發者不需要深入的C++或CUDA專業知識，就能夠部署、運行、調試各種大語言模型，還能獲得頂尖性能表現，以及快速定制化的功能。

對于RTX PC和工作站用戶來說，借助英偉達定制的TensorRT-LLM for Windows，可以讓模型的推理性能最高提升5倍之多。

這些大語言模型的版本將能夠在任何配有8GB及以上顯存的GeForce RTX 30系和40系GPU上運行。

這意味著即便是最輕便的Windows設備，也能快速、準確地實現本地大語言模型處理能力。

除了成本居高不下外，定制和維護生成式AI項目也需要大量的時間和精力，尤其是在嘗試跨多個環境和平臺進行協作和部署時。

針對這一問題，英偉達提出了一站式解決方案——AI Workbench。

基于此，開發者可以輕松地在PC或工作站上快速創建、測試和定制預訓練的生成式AI模型和大語言模型。

2024年伊始，AI PC一躍成為了消費級市場的兵家必爭之地。

就在各芯片廠商和PC品牌商發力之際，英偉達憑借多年布局，早已不知不覺地走在了AI PC前列。

英偉達掀起的這場RTX AI PC革命，必將席卷我們這一代人的工作和娛樂，改變一切。

此文來源于微信公眾號：新智元

英偉達引爆AI PC革命，RTX給1億打工人送算力！40系卡秒生百張圖，「黑神話：悟空」畫質爆表玩家顫抖 (qq.com)