Opera poinformowała w trakcie streamu dla programistów, że dodaje eksperymentalną obsługę 150 lokalnych wariantów LLM (Large Language Model) z około 50 rodzin modeli do swojej przeglądarki Opera One.
Na początku 2023 roku Opera zaprezentowała Opera One, swoją flagową przeglądarkę zorientowaną na sztuczną inteligencję, opartą na zasadach projektowania modułowego i nowej architekturze przeglądarki z wielowątkowym kompozytorem, który pozwala na płynniejsze niż kiedykolwiek przetwarzanie elementów UX.
Opera One zawiera sztuczną inteligencję przeglądarki o nazwie Aria, do której można uzyskać dostęp za pośrednictwem paska bocznego przeglądarki w wierszu poleceń przeglądarki.
Aria jest także dostępna w zorientowanej na graczy Operze GX, a także w przeglądarce Opera na iOS i Androida.
Ten krok oznacza, że po raz pierwszy można łatwo uzyskać dostęp do lokalnych LLM i zarządzać nimi z poziomu głównej przeglądarki za pomocą wbudowanej funkcji. Lokalne modele AI stanowią bezpłatny dodatek do internetowej usługi Aria AI. Wśród wspieranych lokalnych LLM znajdują się: Lama z Meta, Vicuna, Gemma z Google, Mixtral od Mistral AI i wiele innych rodzin modeli.
Korzystanie z lokalnych LLM oznacza, że dane użytkowników są przechowywane lokalnie na ich urządzeniu, co pozwala im korzystać z generatywnej sztucznej inteligencji bez konieczności wysyłania informacji na serwer.
Użytkownicy Opera One Developer mają możliwość wyboru modelu, za pomocą którego chcą przetwarzać dane wejściowe. Aby przetestować modele, muszą zaktualizować przeglądarkę Opera Developer do najnowszej wersji i wykonać kilka kroków, aby aktywować nową funkcję. Wybranie lokalnego LLM spowoduje pobranie go na komputer użytkownika.
Lokalny LLM, który zazwyczaj wymaga 2–10 GB lokalnej przestrzeni dyskowej na wariant, będzie następnie używany zamiast Arii, natywnej sztucznej inteligencji przeglądarki Opery, do czasu, aż użytkownik rozpocznie nowy czat ze sztuczną inteligencją lub ponownie włączy Arię.
„Wprowadzenie w ten sposób lokalnych menedżerów LLM pozwala Operze rozpocząć odkrywanie sposobów budowania doświadczeń i know-how w szybko rozwijającej się lokalnej przestrzeni AI” – powiedział Krystian Kolondra, wiceprezes ds. przeglądarek i gier w Operze.
