Razones por las que no deberías fiarte de la puntuación DxOMark al juzgar la cámara de un smartphone

Esta semana ha sido bastante movida para los chicos de DxOMark. El jueves publicaron su análisis de la cámara del OnePlus 5 y, dos días después, fue el LG G6 el que protagonizó otro de sus análisis.

El OnePlus 5 consiguió una impresionante puntuación de 87, cerca de los mejores teléfonos del momento, pero el LG G6 se quedó en unos decepcionantes 84 puntos. Como resultado, una gran cantidad de usuarios inundaron foros y comentarios con voces críticas sobre la fiabilidad de las pruebas de DxOMark, así como webs especializadas.

Tampoco ha ayudado mucho el hecho de que OnePlus se asociase con DxOMark para desarrollar la cámara. Vaya por delante que no creo que DxOMark se haya dejado influenciar por el dinero de OnePlus, pero tras los resultados de esta semana, las puntuaciones de DxOMark han perdido credibilidad para muchos.

Vamos a tratar de explicar por qué la puntuación de DxOMark puede resultar engañosa a la hora de juzgar la calidad de una cámara.

Para empezar, la puntuación de DxOMark es una media aritmética de distintas puntuaciones: exposición y contraste, color, enfoque automático, texturas, ruido, artefactos y estabilización. No es una media ponderada, sino que todas las puntuaciones individuales cuentan por igual.

Existe un documento que explica cómo genera DxO esas puntuaciones, y no son completamente objetivas (como algunos creen) ya que combinan mediciones automáticas con percepciones humanas. Para las pruebas automáticas, DxO utiliza su propio software DxO Analyzer, que vende a fabricantes de cámaras y smartphones.

Hay voces críticas con respecto a que DxOMark venda equipamiento a los fabricantes de cámaras. La idea es que los fabricantes puedan hacer sus cámaras mejores mediante pruebas científicas y repetibles, pero esto también permite a los fabricantes optimizar sus cámaras para pasar las pruebas con mejor nota. Si sabes las preguntas que van a caer en un examen, puedes estudiarte muy bien esas lecciones aunque falles en otras.

Los fabricantes que se asocian con DxO para tener acceso a sus equipos y software de pruebas pueden ajustar el procesado de imagen para destacar en las pruebas, siempre dentro de los límites de la cámara, por supuesto. Los fabricantes que no se asocian con DxO tienen desventaja en este sentido y suelen obtener peores puntuaciones, aunque en fuera del laboratorio la calidad no sea tan diferente.

Por otro lado, resulta engañoso valorar una cámara por un simple número, ya que la cámara de un smartphone puede ofrecer un buen rendimiento en ciertas situaciones pero comportarse bastante mal en otras.

Particularmente, en Teknófilo no somos amigos de otorgar una «nota» a los teléfonos en nuestros análisis, sino que preferimos destacar los puntos fuertes y débiles de cada dispositivo, ya que las cosas no son tan sencillas como para reducirlas a un número.

Según DxOMark, el OnePlus 5, el Huawei P10 y el Samsung Galaxy S6 edge+ son igual de buenos, de acuerdo a las puntuaciones conseguidas. El LG G6 y el Moto G4 Plus también son igual de buenos, ya que obtienen la misma puntuación de 84. Cualquiera que haya utilizado ambos smartphones sabe de sobra que no son parecidos.

La puntuación del LG G6 en DxOMark no ha dejado indiferente a nadie

En el análisis que hicimos de las mejores cámaras fotográficas — iPhone 7 Plus, LG G6, Samsung Galaxy S8+, OnePlus 5, Sony Xperia XZ Premium, Huawei P10 Plus y Moto Z — hace unos días, la cámara del LG G6 salió muy bien parada, por encima de muchos otros smartphones que obtienen mejor puntuación en DxOMark, como puede apreciarse en las fotografías originales que adjuntamos al análisis.

También resulta extraño que haya un solo punto de diferencia entre el Samsung Galaxy S8 y el Sony Xperia Z5, cuando el primero ofrece una calidad de imagen muy superior.

Dicho esto, hay veces que la puntuación obtenida en las pruebas con DxOMark sí que son un buen reflejo de la realidad. Por ejemplo, el Google Pixel obtuvo la máxima puntuación de 2016 y, en nuestras pruebas, el teléfono demostró tener una cámara excelente. Aunque no hemos tenido oportunidad de probar (todavía) el HTC U11, todo lo que leemos sobre su cámara es positivo.

En mi opinión, lo mejor de los análisis de DxOMark es el texto que acompaña a cada prueba, ya que te da una buena idea de las capacidades de la cámara. Sin embargo, lo que al final queda para la mayoría de los usuarios es el número, la dichosa «nota», más aún cuando DxO los muestra en un ranking descendente en la columna de la derecha de su página web.