NVIDIA ogłosiła nowe technologie NVIDIA RTX™ do obsługi asystentów AI i cyfrowych ludzi, działające na nowych laptopach GeForce RTX™ AI. NVIDIA zaprezentowała Project G-Assist, demo technologiczne asystenta AI wspieranego przez karty RTX, który zapewnia kontekstową pomoc w grach i aplikacjach na PC. Demo technologiczne Project G-Assist zadebiutowało w grze ARK: Survival Ascended od Studio Wildcard. NVIDIA pokazała również pierwsze na PC mikrousługi wnioskowania NVIDIA NIM™ dla platformy cyfrowych ludzi NVIDIA ACE.
Technologie te są obsługiwane przez NVIDIA RTX AI Toolkit, nowy zestaw narzędzi i bibliotek SDK, które pomagają programistom w optymalizacji i wdrażaniu dużych modeli generatywnej AI na komputerach PC z systemem Windows. Dołączają one do pełnej innowacji platformy NVIDIA RTX AI akcelerującej ponad 500 aplikacji i gier na PC oraz 200 modeli laptopów.
Zapowiedziane nowe laptopy RTX AI PC od firm ASUS i MSI wyposażone są w karty graficzne GeForce RTX 4070 i energooszczędne układy on-a-chip z funkcjami AI w Windows 11. Komputery Windows 11 AI otrzymają bezpłatną aktualizację do funkcjonalności Copilot+, gdy tylko będzie ona dostępna.
„NVIDIA zapoczątkowała erę AI na komputerach PC w 2018 roku wraz z premierą kart graficznych RTX wyposażonych w rdzenie Tensor i wspierających technikę DLSS”, powiedział Jason Paul, wiceprezes ds. konsumenckiej AI w firmie NVIDIA. „Teraz, dzięki Project G-Assist i NVIDIA ACE, odblokowujemy następną generację doświadczeń opartych na AI dla ponad 100 milionów użytkowników PC z RTX AI”.
Project G-Assist, asystent GeForce AI
Asystenci AI odmienią doświadczenia w grach i aplikacjach — od sugerowania strategii rozgrywki i analizowania powtórek w trybie wieloosobowym po pomoc w złożonych przepływach pracy twórczej. Projekt G-Assist to spojrzenie w przyszłość.
Gry na PC oferują rozległe światy do odkrycia i skomplikowane mechaniki do opanowania, które są wymagające i czasochłonne nawet dla najbardziej oddanych graczy. Projekt G-Assist ma na celu udostępnienie użytkownikom wiedzy o grach z pomocą generatywnej AI.
Project G-Assist wykorzystuje głosowe lub tekstowe dane wejściowe od gracza wraz z informacjami kontekstowymi z ekranu gry i przetwarza je przez wizualne modele AI. Modele te zwiększają świadomość kontekstu i zrozumienie specyficzne dla wielkich modeli językowych (LLM) łącząc je z bazą danych wiedzy o grach, a następnie generują dostosowaną odpowiedź dostarczaną jako tekst lub mowa.
NVIDIA nawiązała współpracę ze studiem Wildcard, aby zademonstrować tę technologię w grze ARK: Survival Ascended. Project G-Assist pomoże odpowiadając na pytania dotyczące miedzy innymi stworzeń, przedmiotów, wiedzy, celów czy wymagających bossów. Ponieważ Project G-Assist jest świadomy kontekstu, personalizuje swoje odpowiedzi w zależności do danej sesji gry.
Ponadto Project G-Assist może skonfigurować system rozgrywki pod kątem optymalnej wydajności i efektywności. Może zapewnić wgląd we wskaźniki wydajności, zoptymalizować ustawienia graficzne w zależności od sprzętu użytkownika, zastosować bezpieczne podkręcanie, a nawet inteligentnie zmniejszyć zużycie energii przy zachowaniu docelowej wydajności.
Debiutuje pierwszy ACE PC NIM
Technika NVIDIA ACE do obsługi cyfrowych ludzi trafia do komputerów i stacji roboczych RTX AI z NVIDIA NIM, mikrousługami wnioskowania, które umożliwiają programistom skrócenie czasu ich implementacji z tygodni do minut. Mikrousługi ACE NIM zapewniają wnioskowanie wysokiej jakości, które działa lokalnie na urządzeniach w celu zrozumienia języka naturalnego, syntezy mowy czy animacji twarzy.
Debiut NVIDIA ACE NIM zostanie zaprezentowany na targach COMPUTEX w demie technologicznym Covert Protocol, opracowanym we współpracy z Inworld AI. Prezentuje ono technikę NVIDIA Audio2Face™ oraz NVIDIA Riva do automatycznego rozpoznawania mowy działającego teraz lokalnie na urządzeniach.
Środowisko wykonawcze Windows Copilot dodaje akcelerację GPU do lokalnych SLM na PC
Microsoft i NVIDIA współpracują, aby pomóc programistom we wprowadzaniu nowych możliwości generatywnej AI do natywnych i internetowych aplikacji systemu Windows. Współpraca ta zapewni twórcom aplikacji łatwy dostęp do akcelerowanych przez karty graficzne małych modeli językowych (SLM) za pośrednictwem interfejsu programowania aplikacji (API), które umożliwiają generowanie rozszerzone o wyszukiwanie (RAG) lokalnie na urządzeniu zasilanym przez środowisko Windows Copilot.
Modele SLM zapewniają ogromne możliwości dla programistów Windows, w tym podsumowywanie i generowanie treści oraz automatyzację zadań. Możliwości RAG rozszerzają modele SLM, dając AI dostęp do informacji specyficznych dla domeny, które nie są dobrze reprezentowane w modelach bazowych. Interfejsy API z RAG umożliwiają programistom wykorzystanie zewnętrznych źródeł danych właściwych dla aplikacji oraz dostosowanie zachowania i możliwości SLM do potrzeb aplikacji.
Te mechanizmy AI będą akcelerowane przez karty graficzne NVIDIA RTX, a także akceleratory AI od innych producentów, zapewniając użytkownikom szybkie, responsywne doświadczenia AI w całym ekosystemie Windows.
Interfejs API zostanie udostępniony w wersji deweloperskiej jeszcze w tym roku.
Czterokrotnie szybsze oraz trzykrotnie mniejsze modele dzięki zestawowi narzędzi RTX AI
W ekosystemie AI znajdziemy setki tysięcy modeli opartych na licencji open-source do wykorzystania przez twórców aplikacji, lecz większość modeli jest wstępnie wytrenowana do ogólnych celów i zbudowana do działania w centrach danych.
Aby pomóc deweloperom w tworzeniu modeli AI dostosowanych do konkretnych aplikacji, które działają na komputerach PC, NVIDIA wprowadza RTX AI Toolkit, czyli zestaw narzędzi i bibliotek SDK do dostosowywania, optymalizacji i wdrażania modeli na komputerach RTX AI. RTX AI Toolkit będzie dostępny w czerwcu dla szerszego grona deweloperów.
Programiści mogą dostosować wstępnie wytrenowany model za pomocą narzędzia QLoRa z otwartym kodem źródłowym. Następnie mogą użyć optymalizatora modeli NVIDIA TensorRT™ do kwantyfikacji modelu, aby zużywał do 3x mniej pamięci RAM. Następnie NVIDIA TensorRT Cloud optymalizuje model pod kątem maksymalnej wydajności na kartach graficznych RTX. Rezultatem jest nawet 4-krotnie wyższa wydajność w porównaniu z modelem wstępnie wytrenowanym.
Nowy zestaw programistyczny NVIDIA AI Inference Manager (AIM) udostępniony we wczesnym dostępie, upraszcza wdrażanie ACE na komputerach PC. Wstępnie konfiguruje on komputer PC z niezbędnymi modelami AI, silnikami i funkcjami zależnymi, jednocześnie płynnie organizując wnioskowanie AI na komputerach PC i w chmurze.
Partnerzy NVIDIA tacy jak Adobe, Blackmagic Design i Topaz, integrują komponenty RTX AI Toolkit w swoich popularnych aplikacjach kreatywnych, aby przyspieszyć wydajność AI na komputerach RTX.
„Adobe i NVIDIA kontynuują współpracę, aby zapewnić klientom przełomowe doświadczenia we wszystkich kreatywnych przepływach pracy, od wideo po grafikę, projektowanie i 3D”, powiedziała Deepa Subramaniam, wiceprezes ds. marketingu produktów Creative Cloud w Adobe „TensorRT 10.0 na komputerach RTX zapewnia bezprecedensową wydajność i możliwości oparte na AI dla twórców, projektantów i programistów, odblokowując nowe kreatywne możliwości tworzenia treści w wiodących w branży narzędziach kreatywnych, takich jak Photoshop”.
Komponenty RTX AI Toolkit, takie jak TensorRT-LLM, są zintegrowane z popularnymi platformami programistycznymi i aplikacjami do generatywnej sztucznej inteligencji, w tym Automatic1111, ComfyUI, Jan.AI, Langchain, LlamaIndex, Oobabooga oraz Sanctum.AI.
AI do tworzenia treści
NVIDIA integruje również akcelerację RTX AI w aplikacjach dla twórców, modderów i entuzjastów wideo.
W ubiegłym roku NVIDIA wprowadziła akcelerację RTX przy użyciu TensorRT do jednego z najpopularniejszych interfejsów Stable Diffusion, Automatic1111. Począwszy od tego tygodnia, karty RTX będą również przyspieszać bardzo popularny interfejs ComfyUI, zapewniając nawet 60% wzrost wydajności w porównaniu z obecnie dostarczaną wersją i 7-krotnie wyższą wydajność w porównaniu z laptopem MacBook Pro M3 Max.
NVIDIA RTX Remix to platforma modderska z pełnym ray tracingiem, NVIDIA DLSS 3.5 i fizycznie dokładnymi materiałami, służąca do odświeżania klasycznych gier opartych na DirectX 8 i DirectX 9. RTX Remix zawiera bibliotekę wykonawczą renderowania oraz aplikację RTX Remix Toolkit, która ułatwia zmienianie zasobów i materiałów w grach.
W zeszłym roku NVIDIA udostępniła RTX Remix Runtime na licencji open source, umożliwiając modderom rozszerzenie zakresu zgodności gier i zwiększenie możliwości renderowania.
Od czasu uruchomienia RTX Remix Toolkit na początku tego roku, 20 000 moderów wykorzystało go do modowania klasycznych gier, co zaowocowało powstaniem ponad 130 remasterów RTX na platformie RTX Remix Showcase Discord.
W tym miesiącu NVIDIA udostępni RTX Remix Toolkit w wersji open source, umożliwiając modderom usprawnienie sposobu zastępowania zasobów i ponownego oświetlania scen, zwiększenie liczby obsługiwanych formatów plików dla narzędzia do pozyskiwania zasobów RTX Remix oraz powiększenie narzędzia teksturowania AI RTX Remix o nowe modele.
Ponadto NVIDIA udostępni możliwości RTX Remix Toolkit za pośrednictwem interfejsu API REST, umożliwiając modderom łączenie RTX Remix z narzędziami do tworzenia treści cyfrowych takimi jak Blender, narzędziami do modowania takimi jak Hammer oraz aplikacjami do generatywnej AI takimi jak ComfyUI. NVIDIA udostępnia również zestaw SDK dla RTX Remix Runtime, aby umożliwić modderom wdrażanie renderera RTX Remix w innych aplikacjach i grach poza klasycznymi DirectX 8 i 9.
Wraz z udostępnieniem większej części platformy RTX Remix na zasadach open source, modderzy z całego świata mogą tworzyć jeszcze bardziej oszałamiające remastery RTX.
NVIDIA RTX Video, popularna technika superrozdzielczości oparta na AI, obsługiwana w przeglądarkach Google Chrome, Microsoft Edge i Mozilla Firefox, jest teraz dostępna jako zestaw SDK dla wszystkich deweloperów, pomagając im natywnie zintegrować AI do skalowania, wyostrzania, redukcji artefaktów kompresji i konwersji o wysokim zakresie dynamiki (HDR).
Technika RTX Video, która wkrótce pojawi się w oprogramowaniu do edycji wideo DaVinci Resolve od Blackmagic Design i Wondershare Filmora, umożliwi edytorom wideo skalowanie plików wideo o niższej jakości do rozdzielczości 4K, a także konwersję plików źródłowych o standardowym zakresie dynamiki do HDR. Ponadto, darmowy odtwarzacz multimedialny VLC media wkrótce doda RTX Video HDR do swoich istniejących możliwości superrozdzielczości.
