El chip Kirin 970 de Huawei arrasa frente al Snapdragon 845 en un benchmark de IA creado por investigadores suizos
Un grupo de investigadores de visión por computador de ETH Zurich ha creado un benchmark para evaluar el rendimiento de varias arquitecturas de redes neuronales importantes utilizadas en tareas comunes de IA.
Este benchmark será útil para otros investigadores de IA, pero también para los fabricantes de chips, los desarrolladores de Android (para ver cómo de rápido sus modelos de IA funcionarán en diferentes dispositivos) y para los aficionados a los smartphones que quieren conocer el rendimiento de su dispositivo en tareas de IA.
La aplicación, llamada AI Benchmark, está disponible para su descarga en Google Play y puede ejecutarse en cualquier dispositivo con Android 4.1 o superior, generando una puntuación que los investigadores describen como un «veredicto final» sobre el rendimiento de IA del dispositivo.
Las tareas de IA que son evaluadas por el benchmark incluyen la clasificación de imágenes, el reconocimiento facial, la estabilización de imágenes, el incremento de resolución de imágenes, y la mejora o segmentación de fotografías.
Los investigadores esperan que su puntuación se convierta en una métrica universalmente aceptada y todos los algoritmos incluidos en el benchmark son de código abierto. El ranking actual de los diferentes smartphones y procesadores móviles está disponible en la página web del proyecto.
Después de crear el sistema de benchmarking y cotejar las puntuaciones en un grupo de dispositivos Android, el equipo ha descubierto que los dispositivos con chips de Qualcomm no son los claros ganadores como podríamos imaginar sino que las afirmaciones de la empresa sobre las capacidades de IA del Snapdragon 845 son exageradas.
«Resultó que esta aceleración sólo está disponible para redes `cuantizadas’ que actualmente no se pueden implementar en los teléfonos, por lo que para las redes `normales’ no se obtiene ninguna aceleración en absoluto», afirma Andrey Ignatov, investigador de ETHZ.
«Lo más triste es que, en teoría, también pueden proporcionar aceleración para estas últimas redes, pero aún no han implementado los controladores adecuados, y la única forma de conseguir esta aceleración ahora es utilizar el SDK propietario de Snapdragon disponible sólo para sus propios procesadores. Como resultado, si estás desarrollando una aplicación que utiliza AI, no obtendrás ninguna aceleración en las SoC de Snapdragon, a menos que la estés desarrollando sólo para sus procesadores».
Por otro lado, los investigadores encontraron que el chip Kirin 970 de Huawei ofrece un rendimiento extremadamente alto.
«Su NPU integrada proporciona una aceleración casi 10 veces mayor para redes neuronales y, por lo tanto, ni siquiera las CPU y las GPU más potentes del mercado pueden competir con ella», afirma Ignatov.
Además, los Huawei P20/P20 Pro son los únicos teléfonos inteligentes en el mercado con Android 8.1 que actualmente proporcionan aceleración AI, todos los demás teléfonos obtendrán este soporte sólo en Android 9 o posterior».
Sin embargo, no todo son buenas noticias para los propietarios de teléfonos Huawei, ya que Ignatov dice que la NPU no proporciona aceleración para las redes «cuantizadas» (aunque señala que la compañía ha prometido añadir este soporte para finales de este año) y que su propia RAM es «bastante limitada» en tamaño, y por lo tanto «no se pueden procesar imágenes grandes». «Diríamos que si resuelven estos dos problemas, lo más probable es que nadie pueda competir con ellos en los años siguientes», sugiere.
En el caso de los procesadores Samsung, los investigadores señalan que todos los dispositivos de la empresa siguen ejecutando Android 8.0, pero la aceleración AI sólo está disponible a partir de Android 8.1 y superior. .
En cuanto a Mediatek, los investigadores encontraron que el fabricante de chips está proporcionando aceleración tanto para redes «cuantizadas» como «normales», lo que significa que podría alcanzar el rendimiento de las «principales CPUs». | Fuente: TechCrunch
