NVIDIA的研究打造人工智慧模型，在虛擬世界中
增添3d物件和人物角色
在NVIDIA的研究開發出全新人工智慧(AI)模型後,越來越多公司及創作者可以將各種3 d建築物,車輛和人物角色置入他們打造的龐大虛擬世界中。
英伟达GET3D單純使用2d影像進行訓練，便能產生出極為逼真的紋理和具複雜幾何細節的3d形狀。用戶使用與熱門繪圖軟體應用程式一樣的格式來建立這些三维物件,可以立即把這些形狀匯入3 d渲染器和遊戲引擎中,進行後續編輯工作。
產生出的物件可用來呈現出3 d形狀的建築物,戶外空間或整個城市,供遊戲,機器人,建築和社群媒體等業界使用。
Get3d可以按照用來訓練它的資料產生出不限數量的3d形狀。就像藝術家精緻細膩的雕塑黏土一樣，get3d模型將數字轉變成複雜的3d形狀。
像是使用2 d汽車圖片的資料集來訓練GET3D模型,它會建立出3 d形狀的轎車,卡車,賽車及小貨卡等車輛。使用2d動物圖片來進行訓練時，它就會產生諸如3d形狀的狐狸，犀牛，馬和熊等動物。而使用2d椅子圖片進行訓練時，它則會產生各種3d形狀的轉椅，餐椅和舒適的躺椅。
英伟达AI研究部門副總裁Sanja费德勒表示:“GET3D模型讓我們更離大眾化使用AI來創作3 d內容更近了一步。它能夠即時產出帶有紋理的3 d形狀,這對開發人員來說或許會顛覆過去的遊戲規則,協助他們快速在虛擬世界中加入各種有趣的物件。Sanja Fidler同時也是NVIDIA位於多倫多的ai研究實驗室的主管，這項工具就是由該實驗室所開發。
11月26日至12月4日在紐奧良與線上舉行的神經訊息處理系統大會(NeurIPS)上,英伟达將發表超過20篇論文並舉行多場研討會,GET3D便是其中之一。
虛擬世界需要搭配ai來創造
現實世界具豐富樣貌，街道兩旁是獨一無二的建築，各種車輛呼嘯而過，形形色色的人群穿梭其中。用人工方式模擬出一個能反映這些特色的3 d虛擬世界須花費不少時間,而難以在此數位環境中添加各種細節。
Ai模型在建立3d虛擬世界時雖然比過去用人工的方法更快，但仍不夠精細。就算最新的逆向渲染法也只能根據從不同角度拍攝的2 d影像來產生出3 d物件,開發人員一次只能建立一個3 d形狀。
Get3d就不同了，在一個nvidia gpu上進行推論時，一秒鐘大概能產生20個形狀，其運作方式就像是用於產生2d影像的生成對抗網路，同時產生3d物件。使用規模愈大、內容越多樣化的資料集來訓練它，便能輸出更多元精細的內容。
NVIDIA的研究人員使用從攝影機不同角度拍攝3 d形狀的2 d圖片合成資料來訓練GET3D模型,他們在NVIDIA A100 Tensor核心GPU上處理 100 萬張圖片，僅用了兩天時間就完成訓練工作。
使創作者能夠修改形狀、紋理和材質
GET3D的名稱源自於其能生成清晰紋理3 d(生成显式变形3 d)網格,意味著用三角網格來建立各種形狀,就像是混凝紙漿模型上面覆蓋著紋理材料。這讓使用者可以輕鬆把物件匯入遊戲引擎，3d建模器和電影渲染器中並進行編輯。
創作者把GET3D產出的形狀匯出至繪圖應用程式,便能在物體於場景中移動或轉動時加上逼真的照明效果。開發人員將GET3D搭配NVIDIA Research的另一項AI工具StyleGAN-NADA，就可以用文字描述替影像加上特定風格，例如將渲染出的汽車變成燒毀的汽車或計程車，或是把正常的房子變成鬼屋。
研究人員指出日後的GET3D版本可使用攝影機姿勢預估技術,讓開發人員能使用真實環境的資料(而非合成資料)來訓練模型。研究人員還將改進GET3D模型以支援通用生成技術,開發人員便能一次使用各種3 d形狀來訓練GET3D,而非一次用一種物件類別來進行訓練。
敬請觀看nvidia創辦人暨執行長黃仁勳在吸收大會的主題演講重播，以取得英伟达ai研究成果的最新動態。
發表迴響