Sony presenta el primer sensor de imagen con hardware de IA integrado

Hace unos años, Sony creó el primer sensor de imagen con memoria RAM en el chip, que permitía la captura de vídeo en cámara lenta a una velocidad de fotogramas inusualmente alta.

Ahora la compañía ha creado el primer sensor con hardware de Inteligencia Artificial (IA) incorporado, que permite reconocimiento de imágenes a alta velocidad.

El Sensor de Visión Inteligente, IMX500, presenta una configuración por capas consistente en un chip de píxeles y otro chip de lógica. Es el primer sensor de imagen del mundo equipado con funciones de análisis y procesamiento de imágenes con IA en el chip de lógica.

La señal adquirida por el chip de píxeles se procesa usando IA en el propio sensor, lo que elimina la necesidad de usar procesadores de alto rendimiento o memoria externa, y permite el desarrollo de sistemas de inteligencia artificial en el propio dispositivo.

El sensor genera metadatos (información semántica correspondiente a los datos de la imagen) en lugar de la información de la imagen, lo que reduce el volumen de datos y los problemas de privacidad, ya que los datos de la imagen nunca salen del chip. Además, la capacidad de IA permite ofrecer distintas funcionalidades como el seguimiento de objetos en tiempo real con procesamiento de IA a alta velocidad.

El sensor puede capturar video de 4K a 60fps, pero lo más importante es que sólo necesita 3,1 milisegundos para analizar la imagen (usando el modelo MobileNet V1 de Google).

Un ejemplo simple es poner el IMX500 en un coche y apuntarlo al conductor. Si el sensor detecta que el conductor está distraído o dormido, puede enviar un aviso al coche. Aunque un procesador externo puede hacer la misma tarea, usar sólo el sensor de imagen es más simple (y por lo tanto más fiable) y más barato.

Las tiendas pueden utilizar el sensor de visión inteligente para muchas tareas. Por ejemplo, uno podría estar en la puerta, contando cuántas personas entraron. Otro puede vigilar las estanterías, enviando una notificación cuando las existencias se están agotando. Otro puede determinar las áreas donde la mayoría de la gente va y los productos que recogen.

El chip de pixeles está retroiluminado y tiene aproximadamente 12,3 megapíxeles efectivos para capturar información en un amplio ángulo de visión.

Además de la habitual circuitería lógica del sensor de imagen, el chip de lógica está equipado con un procesador digital de señal (DSP) original de Sony, dedicado al procesamiento de la señal mediante inteligencia artificial (IA) y memoria para el modelo IA. Esta configuración elimina la necesidad de procesadores de alto rendimiento o memoria externa, lo que lo hace ideal para sistemas Edge AI.

Es poco probable que el IMX500 llegue a smartphones ya que está pensando para otro tipo de dispositivos, pero podría entrar en tu casa en forma de una pantalla inteligente, por ejemplo, para identificar quién está haciendo una pregunta y proporcionar una respuesta más relevante. Y, una vez más, las preocupaciones por la privacidad se reducen ya que el sensor de imagen puede transmitir sólo la información de «Luis está hablando» en lugar de capturar una foto y enviarla para su procesamiento.

El IMX500 (sólo el chip) y el IMX501 (producto completo) llegarán a las compañías pronto y Sony cree que los primeros productos para usarlos saldrán el próximo año. Por ahora, estos sensores cuestan 10.000 y 20.000 yenes, respectivamente (eso es 86 y 172 euros).