Sony zapowiada rewolucję w aparatach i kamerach. Przetworniki obrazu zaczną "myśleć" same

Sony zapowiedziało właśnie stworzenie pierwszego na świecie sensora fotograficznego wyposażonego w sztuczną inteligencję. Oznacza to mniejsze zużycie danych, ograniczenie kosztów ich przesyłu oraz szybsze przetwarzanie informacji.

Ze sztucznej inteligencji korzystamy coraz częściej

W ostatnich latach z zastosowań opartych o AI (artificial intelligence, czyli sztuczną inteligencję) korzystamy coraz częściej. AI zajmuje się już nie tylko analizowaniem i poprawianiem fotografii ze smartfonów. Dostarcza również cennych danych w zastosowaniach profesjonalnych.

Sztuczna inteligencja może dziś analizować zdjęcia nadesłane przez kamery monitoringu i wykrywać zbyt małe odstępy pomiędzy osobami na chodniku, zbyt duże zagęszczenie osób w centrum handlowym, potencjalne zagrożenie zdrowia pracowników, czy ew. brak maski na twarzy klienta sklepu. To oczywiście jedynie kilka wybranych, ale jakże aktualnych dziś przykładów.

Obecnie sensory aparatów lub kamer odpowiadają jedynie za nagrywanie i przekazywanie dalej (zajmującego dużo miejsca) obrazu. Dopiero w centrum danych lub chmurze odbywa się ich analiza. To oczywiście generuje koszty utrzymania infrastruktury i przesyłu danych oraz generuje dość spore opóźnienia względem czasu rzeczywistego. Sony postanowiło to zmienić.

Sony wymyślił AI na nowo

Japoński producent zapowiedział właśnie stworzenie matryc aparatów i kamer opartych o sztuczną inteligencję. Różnica względem obecnych na rynku rozwiązań jest jedna, ale zasadnicza. Nagrywany obraz jest analizowany przez AI bezpośrednio na poziomie sensora aparatu, a nie w późniejszym procesie.

W praktyce więc sensor ma zbierać i analizować fotografie, a następnie selekcjonować z nich kluczowe informacje (metadane). Powiedzmy, że jego zadaniem jest wyszukiwanie osób niekorzystających z masek. Dopiero, gdy znajdzie interesujące go obiekty przetwarza informacje o nich i wysyła do centrum danych lub do chmury.

Sony zapowiada rewolucję w aparatach i kamerach. Przetworniki obrazu zaczną 'myśleć' same fot. Sony / materiały prasowe

Przykładowa kamera monitoringu zbudowana w oparciu o nowy sensor Sony ma zatem wysyłać dalej jedynie wybrane dane, a nie - jak dotychczas - cały materiał wideo. Obecnie przekazywanie obrazu wiąże się z nadaniem i przesłaniem przez sieć dość dużych plików. A im lepsza jakość obrazu – tym więcej danych musi zostać przesłane.

Ta oszczędność informacji daje wymierne korzyści. Jest to przede wszystkim znaczna minimalizacja opóźnienia oraz ograniczenie zużycia danych i mniejszy pobór energii. Dwie ostatnie w praktyce przekładają się na ograniczenie kosztów. Sony mówi też o całkowitym bezpieczeństwie, bo dzięki pracy AI działającym na poziomie samego przetwornika do chmury nie są przesyłane dane umożliwiające identyfikację osób.

Sony zapowiada rewolucję w aparatach i kamerach. Przetworniki obrazu zaczną 'myśleć' same fot. Sony / materiały prasowe

Sony pokazał już dwa inteligentne przetworniki obrazu

Sony zapowiedział na razie powstanie dwóch pierwszych sensorów AI IMX500 i IMX501. Oba mają wielkość 1/2,3 cala i obsługują efektywnie 12,3 Mpix. Każdy z nich składa się bloku pikseli i osobnego bloku układów logicznych. To właśnie ten drugi blok odpowiada za przetworzenie informacji zebranych przez piksele matrycy.

Dzięki temu sensor przekazuje do elektroniki kamery (a dalej do chmury) jedynie metadane zamiast pełnej informacji o obrazie. To eliminuje konieczność stosowania w kamerach bardzo pojemnych buforów pamięci oraz wydajnych procesorów.

Japończycy deklarują, że AI IMX500 i IMX501 to pierwsze na świecie przetworniki obrazu oparte o sztuczną inteligencję. Sony nazywa je też "inteligentnymi czujnikami wizyjnymi".

Sony zapowiada rewolucję w aparatach i kamerach. Przetworniki obrazu zaczną 'myśleć' same fot. Sony / materiały prasowe

Firma podkreśla, że nowa technologia stworzy szereg nowych zastosowań przede wszystkim w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą. Choć oczywiście zastosowania dla nowych inteligentnych sensorów nie są w żaden sposób ograniczone.

Sony na razie o tym nie mówi, ale przetworniki z wbudowanym AI mogą znaleźć zastosowanie również w branży konsumenckiej. Być może w przyszłości znajdziemy je choćby w urządzeniach internetu rzeczy, które coraz częściej goszczą w naszych domach.