SONY AI szenzor

Hirdetés:

A SONY mindig vezető szerepet töltött be a szenzorpiacon, nem véletlen, hiszen jó pár gyártó az ő érzékelőjét használja. Most egy olyannal fognak megjelenni a piacon, ami idáig még nem volt.
2020 az AI (mesterséges intelligencia) jegyében zajlik legyen szó hardware-ről, vagy software-ről.

A Sony bemutatja a világ első intelligens szenzorát Al feldolgozás funkcióval

A szenzor nagysebességű Al feldolgozást tesz lehetővé, és hozzájárul a felhőalapú optimális rendszerek felépítéséhez.

A Sony Corporation bejelentette, hogy hamarosan kiadja az intelligens szenzor két modelljét, a világ első olyan képszenzorait, melyek mesterséges intelligencia (AI) által irányított feldolgozási funkcióval felszereltek. *1 A képszenzorba foglalt Al feldolgozási funkció lehetővé teszi a nagysebességű Al feldolgozást úgy, hogy csak a szükséges adatokat vonja ki, így a felhő szolgáltatásainak használatakor csökken az adatátvitel késleltetése, az energiafogyasztás és a kommunikációs költségek, valamint az adatátvitellel kapcsolatos aggályok.

Az új termékek kibővítik a mesterséges intelligenciával felszerelt kamerák továbbfejlesztésének lehetőségeit, sokoldalú használati alternatívákat teremtenek a kiskereskedelmi- és ipari termékek iparában, és hozzájárulnak a felhő alapú optimális rendszerek felépítéséhez.

A felhőhöz, ami általánossá teszi az információfeldolgozó rendszerek használatát – az IoT elterjedése eredményeként – számos különböző típusú eszköz kapcsolódik, az ezekből nyert információt az AI-n keresztül a felhőben dolgozzák fel. Az itt kezelt információ növekvő mennyisége különféle problémákat vet fel. Először is megnövekedett adatátviteli késleltetést, amely akadályozza a valós idejű információfeldolgozást; másodszor a felhasználók aggályait a személyazonosításra alkalmas adatok felhőben történő tárolásának biztonságosságával kapcsolatban; illetve egyéb problémás kérdéseket is, például a felhő szolgáltatásainak megnövekedett energiafogyasztását és az ezzel járó kommunikációs költségeket.

Az új szenzoros termékek – amelyek egy pixel chipből és logikai chipből állnak – halmozott konfigurációval rendelkeznek. Ezek a világ első olyan képszenzorai, amelyek a logikai chipen AI képanalízissel és feldolgozási funkcióval felszereltek. A pixel chip által a szenzoron keresztül megszerzett jelet az AI dolgozza fel, kiküszöbölve a nagy teljesítményű processzorok vagy a külső memória szükségességét, egyúttal lehetővé téve az AI rendszerek további fejlesztését. A szenzor a metaadatokat (a képadatokhoz tartozó szemantikai információkat) adja ki a képinformációk helyett, ezzel csökkentve az adatmennyiséget, és kezelve az adatvédelmi problémákat. Ezenfelül az AI képesség lehetővé teszi változatos funkciók biztosítását különféle alkalmazáshoz, például a valós idejű tárgykövetéshez nagysebességű AI feldolgozással. Különböző AI modellek választhatók ki a belső memória átírásával is, a felhasználói igények vagy a hely feltételei szerint, ahol a rendszer használva van.

Főbb jellemzők

A világ első képérzékelője, amely AI feldolgozási funkcióval rendelkezik.

A háttérvilágítású pixel chip a látószög teljes terjedelmében hozzávetőleg 12.3 megapixel információ feldolgozására képes. Ezenfelül a hagyományos képszenzorok működési áramköre mellett a logikai chipet a mesterséges intelligencia által vezérelt jelfeldolgozásáért és memóriáért felelős Sony eredeti digitális jelprocesszorával (DSP) látták el. Ez a konfiguráció lehetővé teszi a nagy teljesítményű processzorok vagy a külső memória nélkülözését, ezáltal ideális a nagy teljesítményű, mesterséges rendszerekhez.

 

Metaadat-kimenet

A pixel chip bejövő jelei egy képjelprocesszoron haladnak át, az AI feldolgozás pedig még a folyamat kezdeti fázisában végbemegy a logikai chipen, a kivont adatok pedig metaadat formájában lesznek elérhetők, így csökken a kezelt adat mennyisége. A képinformáció kiadásának elkerülésével csökkenthetők a biztonsági kockázatok és az adatvédelmi nehézségek. A hagyományos képszenzor által rögzített kép kapcsán a felhasználók igényeiknek megfelelően kiválaszthatják az adatkimeneti formátumot, beleértve az ISP formátumú képeket (YUV/RGB) és a ROI (Region of Interest) specifikus területi kivont képeket.

 

Nagy sebességű AI feldolgozás

Hagyományos képszenzoros videófelvételnél minden esetben szükséges elküldeni az összes egyedi kimeneti képkeretet az AI feldolgozáshoz, ami megnövekedett adatforgalomhoz és nehezebb valós idejű teljesítményhez vezethet. A Sony új szenzorával ellátott termékek képesek ISP alapú feldolgozásra és nagysebességű AI feldolgozásra (3.1 ezredmásodperces feldolgozási sebesség MobileNet V12 használata esetén) egyaránt a logikai chipen, így az egész folyamat egyetlen videókeretben végrehajtható. Ez a különleges kialakítás nagy pontosságú valós idejű rögzítést tesz lehetővé videófelvétel esetén.

 

Választható AI modell

A felhasználók beírhatják a beágyazott memóriába saját AI modelljeiket, és újraírhatják vagy fejleszthetik azokat, hogy mindenképpen megfeleljenek a felvételi helyszín körülményeinek.

Például, ha több, ezt a terméket használó kamerát telepítenek kiskereskedelmi helyszínre, akkor egyetlen típusú kamera sokoldalúan használható különböző helyiségekben, körülmények között, időpontokban vagy célokra. Az üzlet bejáratánál kiállított termékkel így könnyedén lehet rögzíteni a látogatók számát, ha polcon rögzítjük, a termék képes érzékelni a készlethiányt, a plafonon elhelyezve pedig hőtérképpel lehet követni a boltban tartózkodó vásárlókat (és érzékelni azokat a helyeket, ahol sokan gyűlnek össze). Ezenfelül a kamerákban található AI modell újraírható a hőtérképtől kezdve a vásárlói viselkedés azonosításán át sok más egyéb funkcióig.

Főbb jellemzők

Modell név

IMX500 (chip önmagában)

IMX501 (csomagolt termék)

A tényleges képpontok száma

4056 (H) × 3040 (V), hozzávetőleg 12.3 megapixel

Képméret

Átlós 7.857 mm (1/2.3 type)

Cellaegység mérete

1.55 μm (H) × 1.55 μm (V)

Képfrissítés

Full pixel

60 fps

Videó

4K (4056 × 2288) 60 fps

1080p 240 fps

Teljes/video+AI feldolgozás

30fps

Metaadat kimenet

30fps

Érzékenység (F5.6 sztenderd érték)

Hozzávetőleg 250LSB

Az érzékelő telítettségének jelszintje (minimum érték)

Hozzávetőleg 9610e-

Tápegység

Analóg

2.7V

Digitális

0.84V

Felületi

1.8V

Főbb funkciók

AI feldolgozási funkció, ISP, HDR felvételi mód

Kimenet

MIPI D-PHY 1.2 (4 sávos) / SPI

Színszűrő tömb

Bayer tömb

Kimeneti formátum

Kép (Bayer RAW), ISP kimenet (YUV/RGB), ROI, metaadat

Csomag tartalma

Kerámia LGA

12,5 mm (H) × 15,0 mm (V)

www.sony.hu

Hirdetés:
Hirdetés:

Hírlevél feliratkozás