Tenemos nuevos iPhones. Y la presentación de los mismos (como ya sospechaba y adelanté en mi podcast) se centró en gran parte en las nuevas cámaras y sus capacidades. Incluso aprendimos un nuevo término: los Slofies. Pero la verdadera innovación de las cámaras de los nuevos iPhone (y así ha sido en las últimas generaciones de estos) y lo que hace posible que esas cámaras sean tan buenas, no son las cámaras, es el procesador A13 Bionic y sus componentes.
En este artículo vamos a analizar qué es la fotografía computacional. La magia que hay detrás para que unas cámaras que físicamente no presentan ninguna innovación reseñable, sean capaces de conseguir un resultado que es excepcional.
No son las cámaras, es el chip y el software
Tendemos a hablar de las cámaras de un dispositivo. Que si la cámara de tal móvil es mejor que la del otro. Que si el Pixel es mejor que el iPhone, que el Huawei es mejor en algunas que el Pixel... estamos equivocando todo. Las cámaras, físicamente hablando, son prácticamente las mismas y estas hace mucho tiempo que tocaron techo en innovación. Las cámaras, el dispositivo físico de la cámara, solo capta la información y en eso todos los móviles son casi iguales.
Apple presentó 2 cámaras para el iPhone 11 y 3 en los modelos Pro. Pero la cámara gran angular es la misma que la generación pasada con los mismos componentes, los mismos megapíxeles, la misma apertura, la misma distancia focal... la nueva cámara ultra gran angular es nueva así que no podemos compararla con modelos anteriores, pero es una cámara que no tiene estabilización óptica, una apertura menor de f/2.4 (igual a la cámara teleobjetivo de otros años) y tiene 5 componentes para la lente en vez de 6. Si miramos la cámara teleobjetivo de los modelos Pro, también es igual a los modelos anteriores aunque en esta ocasión mejora la apertura que pasa de f/2.4 a f/2.0 por lo que es más luminoso conservando la distancia focal.
Lo que quiero decir con todo esto es que las cámaras son geniales, pero su rango de mejora es mínimo o inexistente a nivel físico. Insisto, única u estrictamente como componentes hardware con unas características determinadas. Entonces, ¿por qué los nuevos iPhone hacen fotos increíbles? Por el procesador A13 Bionic y el uso de la fotografía computacional. Desde hace varios años, la innovación en la fotografía no está en las cámaras. Está en el software y el hardware que procesa las fotografías. Son los increíbles algoritmos de Google (que solo están en los Pixel en la app Google Camera) los que hacen la magia. Un procesamiento que exprime la información obtenida de las lentes y consigue los tan celebrados modos retrato o modo noche de esos teléfonos. Por lo tanto, es el software y la capacidad de procesamiento de los chips del teléfono lo que marca la diferencia.
En el caso de los nuevos iPhone, la innovación está en los chips A13 Bionic y sus nuevos componentes. Si nos centramos exclusivamente en fotografía, el nuevo A13 tiene componentes específicos para procesar las más de un billón de operaciones por fotografía que realiza. En concreto tiene un chip encargado específicamente del procesado del modo HDR. También tiene un componente específico para el cálculo de la fusión de fotografías por cálculo computacional y un motor de cálculo de profundidad de la fotografía. Además, usa el motor neuronal para entender la semántica de la fotografía y aplicar de forma inteligente cambios sobre esta.
Así se procesan (no se hacen) las fotos en un iPhone
Vamos a ver el ejemplo que puso Apple: una fotografía (retrato) de una chica que al estar con una fuente de luz tras ella, hace que su rostro aparezca más oscuro. El nuevo proceso de fotografía computacional y Machine Learning, incorpora el entendimiento de la imagen a través de su compresión semántica: que el software sepa (con ayuda del hardware) qué contenido hay en la fotografía.
El procesador detecta que es un retrato, detecta la persona a la que hemos hecho retrato y detecta su rostro y las partes del mismo. Detecta que el rostro está oscurecido y la imagen no está compensada. Así que el procesador de señales de imagen (ISP, otro componente del A13 Bionic) cogerá la información para esos píxeles en las tomas más expuestas de las 8 fotografías (4 principales y 4 secundarias) que toma la lente. Cada vez que pulsamos el disparador de la cámara, el teléfono hace 8 fotografías: 4 con diferentes exposiciones para el HDR, desde más oscuras a más claras, y luego otras 4 secundarias para calcular exposición correcta, balance de blancos, foco y mapa de tonos. Sobre las de mayor exposición además calcula el detalle de los brillos.
Con toda esta información, realiza una fusión de toda la información en una sola imagen. Pero los nuevos A13 incorporan a este proceso (similar al que ya hacían los XS, XS Max y XR con el A12 Bionic), 4 capas más de Machine Learning: detección facial, rasgos del rostro, máscara de segmentación de la imagen y semántica de la imagen (entender qué sale en esta).
De esa forma, la cara de la persona (donde se entiende y localizan ojos, nariz, boca, óvalo facial, etc...) quedará un poco más iluminada fusionando los píxeles tomados en las fotografías de mayor exposición y tendremos su rostro con todo el detalle arreglando en tiempo real un fallo normal en cualquier fotografía de esas características. Esto no lo hace la cámara: lo hace el software y el uso de los componentes del A13 Bionic.
También hay quien dice: las lentes podían ser mejores para que no tengan tanto ruido al hacer la fotografía más oscura. No importa. El nuevo chip A13 Bionic es el que permite la fotografía en modo nocturno. Cuando hago una, el iPhone detecta automáticamente que no hay la suficiente luz para que la fotografía salga bien, así que cambia el modo y la hace en modo nocturno.
¿Cómo funciona? El sistema determina el tiempo que tardará la fusión de la imagen y usa una horquilla adaptativa sobre el tiempo que necesitará para hacer la fotografía en base a lo que ve la cámara en el modo preview. Si a lo que intentamos hacer la fotografía está quieto, hará menos exposiciones más largas, pero si está en movimiento hará tomas más cortas con diferentes formas de captar la luz. Si hay más sombras, hará una captura de más información para fusionar la información. Todo ello con el estabilizador óptico para no mover la lente al hacer la fotografía.
De esta forma, el modo nocturno se adapta a aquello que queremos fotografiar adaptando las exposiciones, tiempo, encuadre y demás. Si la exposición hace que la fotografía esté movida o salga con más ruido, lo arregla. ¿Qué hace para ello? Saca la información combinando las diferentes exposiciones, fusionando la información, aplicando reducción de ruido y buscando la toma qué mejor calidad tiene reconociendo los elementos por Machine Learning. Y sobre las fotografías de exposición más cortas para detalles oscuros, sabrá cómo es la imagen menos movida y aplicará esos detalles a la imagen final para reducir el movimiento en la toma fusionando píxeles.
Lo que obtenemos al final es que el dispositivo a alineado la fotografía, descartado las zonas más oscuras, ha usado la información de las más iluminadas para mejor la foto, equilibra contraste y colores y reduce el ruido. Todo en post-procesado. Con una mezcla única de hardware y software. Las cámaras no hacen la foto en modo noche, claramente.
Fusión profunda, el siguiente paso
Todo estos procesos que hemos comentado tienen una combinación perfecta de funcionalidad entre el ISP (el procesador de señales de imagen) del chip A13 Fusion, apoyado por el motor neuronal con aprendizaje automático que detecta el contenido de la escena y ayuda a mejorar las fotografías. Pero Apple ayer presentó el siguiente paso en la fotografía computacional. Porque hasta ahora hemos visto esta como apoyo a un proceso convencional. Deep Fusion (o fusión profunda) es delegar todo el proceso al aprendizaje automático. El 100% del post-procesado de la fotografía se hará por inteligencia artificial tras recibir la información de las cámaras.
Apple nos dice que el tipo de fotografías que será capaz de obtener este modo no se han visto nunca antes y son imposibles de realizar con cualquier cámara ya que no es una fotografía en sí: es un post-procesado de Machine Learning que obtiene una fotografía imposible de tomar tal cual por una cámara, solo se puede obtener mediante algoritmos de este tipo.
Cuando ponemos el iPhone Pro (porque este modo es solo para los modelos Pro) en este nuevo modo (que aún no está disponible y saldrá en otoño, probablemente con iOS 13.2) el dispositivo detecta cuándo vamos a hacer la foto. Y en el momento que vamos a presionar el botón (antes de hacerlo), dispara las 8 fotografías que normalmente hace: 4 de diferentes exposiciones y 4 de información secundaria. Al pulsar el disparador ya ha tirado esas y ahora lanza una de larga exposición para capturar todos los detalles. Con esas 9 fotografías, pixel a pixel en más de 2.400.000 pixeles, compara uno con otro, busca la mejor versión de cada uno, y compone una imagen que viene a tardar un segundo en ser procesada para mostrar el mejor resultado de cada una de esas fotografías.
Sin duda un nuevo e interesante concepto, de nuevo basado en software, que demuestra una vez que la innovación no está en las cámaras: está en los chips y software que procesa lo que estas captan.
En próximos artículos hablaremos más en detalle del chip A13 Bionic, sus otras capacidades, cómo gestiona la energía, cómo decide controlar los procesos para optimizar el rendimiento del equipo y qué interesantes componentes tiene.
Ver 61 comentarios
61 comentarios
Uti
Otro magnífico artículo Julio César, es un placer leerte, te explicas de una forma que todo te queda claro y diáfano, ahora entiendo bien lo de la "fotografía computacional" y la misión del chip A13 Bionic.
Me ha quedado muy claro que la cámara física es una pequeña parte de un todo mucho más grande.
reisa
Horas y horas de photoshop y postproducción que nos ahorra toda esta parafernalia computacional.
Ojalá las cámaras réflex profesionales miraran a los smartphones como ejemplo, y fueran cogiendo todo este tipo de procesos. Para hacer un HDR hago lo mismo que hace el iphone pero a mano. Disparo la horquilla de fotos en RAW, una a una, las llevo al ordenador, las revelo, las proceso, y las fusiono.
Cambiar el desenfoque del fondo? Ponte a siluetear a mano, y hazlo bien. Por cierto en este punto hace tiempo que dije que las reflex podrían incorporar dos pequeñas lentes tipo kinect para medir profundidades y adjuntar esa información en los metadatos del archivo para que pudiera utilizarse con programas de escritorio. Podríamos siluetear en un abrir y cerrar de ojos como lo hacen los smartphones y que lo hacen sin que te enteres.
Realmente todo lo que explicas en este artículo Julio Cesar, es impresionante. Como fotógrafo tengo la suerte de tener el conocimiento para darme cuenta de la barbaridad de trabajo que supone todo lo que expones.
Lo de ampliar la resolución, además del HDR, ya lo hacía la app Hydra desde hace mucho tiempo. No sé si utiliza la misma técnica. Supongo que no porque yo no veía grandes diferencias. Pero en cualquier caso, estoy muy de acuerdo contigo, una cosa es el hardware y este puede evolucionar, pero con sus limitaciones. Sin embargo el software movido por un procesador con una capacidad de computo tan bestial hace que la magia sea posible sin que tengas tiempo a darte cuenta de lo que está pasando en las tripas de tu dispositivo. Brutal.
Buen artículo. Muchas gracias.
intruso
Excelente artículo.
A ver si muchos lo leen y entienden antes de criticar la cámara del iPhone 11 antes incluso de haber salido a la venta.
Gracias Julio.
juangarcia
Pues tirarse un año hablando de las maravillas que puede hacer el A11, para que cuando sale el A12 es una mierda, y cuando sale el A13 otra mierda. De forma que ese "motor neuronal" chachi piruli que nos venden, es inútil a partir del año que viene, ya que fuera de la aplicaciones de fotos de ese año donde sale el movil, no vuelves a utilizarlo para nada mas por "falta de potencia".
sirioplata
Estoy seguro que el iPhone XR podría implementar perfectamente el modo noche, de echo espero que Apple de esta característica a todos los modelos que por hardware lo permitan. No sirve la excusa que solo lo puede hacer el A13 Bionic porque aplicaciones que juegan con la iso y la exposición las hay desde el iPhone 6 y consiguen imágenes en la oscuridad mil veces mejor que el iPhone. Sino lo implementan, será un fracaso ya que Apple se estará quedando muy atrás en fotografía ya que actualmente hay teléfonos de Huawei que por 300€ obtienen fotos de mejor calidad en oscuridad que el iPhone. Espero que al menos en la generación anterior se implemente.
ptpedrote
Menudo artículo de calidad. Da gusto leer algo tan bien explicado. Enhorabuena!
Usuario desactivado
Y el vídeo. Lo que está logrando Apple con los vídeos en los móviles es alucinante.
nino
El crack de Applesfera es este hombre, sin duda. El nombre de Julio César le viene que ni pintado.
Un placer leer tus explicaciones Julio, las entendamos o no 🤓 😄
Un saludo.
melon80
¿Y que tal si avanzan en lo de la cámara lenta, que llevan anclados en los 240fps del iPhone 6 mientras en la competencia hace dos años que graban a 960fps?
Usuario desactivado
El Deep Fusion es exclusivo del iPhone 11 Pro o existe también en el iPhone 11?
bigots
Lo que no entiendo es como eso no lo hace el iPhone XS que también monta un procesador de la hostia..es manera de capar funciones para hacerlo exclusivos de otros iPhone, en fin. Esperemos que el iPhone con 5g que saldrá el año que viene si o si tenga mil historias mas
Manuel Villalobos
No todo se reduce al software, la cámara mas luminosa del iphone 11 pro tiene un f1.8 mientras que la del s10+ es de 1.5, eso significa que la del galaxy deja pasar prácticamente el doble de luz, en fotos nocturnas necesitaría la mitad del tiempo de exposición para obtener los mismos resultados.
El software es crucial pero el hardware puede ser igual de importante, y yo si creo que ha habido mucha evolución en este aspecto en los últimos 3 años, de hecho, los móviles con dos camaras son de hace 2 años para acá y han permitido hacer telefotos, efectos bokeh (tanto por software como por hadwrae mezclando imagenes con diferentes logitudes focales), etc..
phonzee
Excelente artículo, la verdad es que sabía muy poco (nada) de fotografía computacional y es bastante interesante, sobre todo la implementación de Machine Learning. Pero esto me lleva a preguntarme si Apple esta convietiendo el iPhone en una Cámara, ya que como menciona el articulo las ultimas actualizaciones de los iPhones han sido ene este rubro. Que, haciendo una analogía al anuncio el Apple Watch Seris 5, sería: " This iPhone takes pictures among other things"
Stroops
Entonces si no he entendido mal... habrá que esperar un poco para ver la calidad real de las fotos del 11 Pro y su Deep Fusion ya que hasta iOS 13.2 (o la que toque) no estará disponible no? Lo digo por las primeras reviews que se harán dentro de unos días y todos querremos ver
beefcake
Macho, vaya pedazo de artículo... es un placer leerte “Hulio”.
Siempre he notado que el iPhone ha sacado colores más reales que la competencia pero que nunca ha estado a la altura en modo noche... sólo espero que no tengamos un caso similar al extra-maquillaje que el iPhone X hacía en su comienzo. Hasta ahora las fotos se ven más que decentes.
Saludos.
kikegarrido
Buen artículo, gracias.
Perdón por la expresión, pero la doble cámara del 11 me parece una CAGADA. Dos objetivos angulares? para qué si ya tenemos el modo panorámico... (vale ya sé que no es lo mismo) Yo creo que no han querido poner el 52mm para valorizar el pro.
Yo tengo el X con doble cámara y el "tele" (2x) lo uso muchísimo.
Y otra... pantallasen los móviles de 19:9 mínimo y seguimos con el formato de sensor 4:3??? Para mi que es porque si adoptan un sensor 16:9 se les quedan los megapixeles en 10 o lo que sea, pero mucho menos de 12 y claro, eso no es comercial...
selui
Muy bien explicado el artículo!!!
A ver si salen pronto las nuevas comparativas.
carlosvelandia
Señor articulo!!! fiel seguidor de lo que escribes tanto de tu podcast Apple Coding, un Saludo y Gracias.
inflamescolony
¿Esto no es lo que lleva haciendo Huawei un par de años con su famosa AI?
Pregunto...
Usuario desactivado
Pues yo conozco una web donde te ahorras unos eurillos , os la dejo aquí, yo ya he comprado dos o tres veces en ella. Funciona tal que así . Tú haces el pedido a ellos y el paquete te llega directamente de apple. No se donde tienen ellos las ganancias pero lo que si se es que tú te ahorras un dinerito. Bueno no dejo el enlace que no tengo categoría para ello se llama Mexacno.com
hitman14
Si la magia está en el software y no en las cámaras (hardware), ¿por que no se pueden hacer estas fotos en un iPhone XS? En cuanto a procesador, el A13 no es tan diferente del A12 en potencia. Debería ser cosa del software iOS 13 el mejorar la fotografía computacional de los iPhone, no del hardware... iPhone 11 PRO con chip A13.