Podczas Microsoft Skill Summit firma Microsoft udostępniła aplikację mobilną Seeing AI na urządzenia z systemem Android i Apple.
Ta mówiąca aplikacja pomaga osobom niedowidzącym dostrzegać otaczający ich świat poprzez czytanie tekstu, opisywanie scen i identyfikację osób, obiektów, kolorów i walut przy użyciu technologii Azure AI.
Technologie sztucznej inteligencji często wymagają wydajnych komputerów do analizowania monitów użytkowników i reagowania na nie, a niewiele urządzeń mobilnych jest wyposażonych w chipy AI, takie jak Snapdragon 8 Gen 3 w najpopularniejszych smartfonach z 2024 r. Dlatego też większość monitów jest przekazywana do usług online, takich jak OpenAI (ChatGPT) lub Microsoft (Azure AI, CoPilot), gdzie żądania są obsługiwane przez wydajniejsze komputery w chmurze.
Microsoft Seeing AI wykorzystuje Azure GPT-4 Turbo z Vision AI, aby umożliwić reagowanie i dokładne odpowiedzi na dowolnym smartfonie wyposażonym w następujące funkcje:
- Zamiana tekstu na mowę – aplikacja odczytuje wyświetlony tekst.
- Krótszy tekst można odczytać w trybie kamery na żywo, dłuższy tekst jest fotografowany, konwertowany na tekst i na koniec czytany na głos.
- Czytnik kodów kreskowych – aplikacja wyszukuje produkty na podstawie kodu UPC.
- Scena – aplikacja opisuje scenę, którą widzi, skupiając się na najbliższym obiekcie.
- Osoba – aplikacja opisuje osobę, którą widzi, identyfikując emocje na jej twarzy.
- Waluta – aplikacja identyfikuje rachunki, które widzi w 17 krajach.
- Kolor – aplikacja identyfikuje kolor w środku zdjęcia na żywo.
- Pismo odręczne – aplikacja konwertuje odręczne notatki na tekst.
- Jasność – aplikacja emituje dźwięk o różnej wysokości w zależności od jasności.
Aplikacja jednak nie jest tak kompetentna w opisie jak człowiek. Na przykład Seeing AI poprawnie identyfikuje maszynkę do golenia w puszce, ale nie jest w stanie zidentyfikować sortownika monet.
