Perché gli "zoom digitali" sulle fotocamere aumentano la pixellizzazione?

Quindi in uno zoom digitale classico, la fotocamera inizia con l'uscita del sensore della fotocamera. Questa è tutta l'informazione che c'è da lavorare. Le informazioni dell'immagine provengono da quel sensore, che è un array di sensori analogici che alimenta uno stadio di conversione digitale.

Uno zoom digitale è semplicemente un ritaglio e un ingrandimento. Ora, questo ingrandimento può essere un po' intelligente. In questo zoom 2x, la parte di ingrandimento potrebbe semplicemente trasformare ogni pixel in quattro pixel, ma questo sarebbe molto più pixellato. Quindi si interpola tra i pixel vicini. Questo non aggiunge effettivamente una nuova informazione, ma rende l'ingrandimento meno ovvio.

Lo stesso processo ci porta ad uno zoom digitale 4x. E certo, alle normali risoluzioni di Quora, potresti non vedere la perdita di qualità dell'immagine, ma c'è.

A uno zoom digitale 8x, è abbastanza chiaro che non vediamo alcun dettaglio aggiuntivo.

E a 16x, lascia perdere... nessuno lo vuole. Questa era originariamente un'immagine da 20 megapixel. Quindi lo scatto a 2x ha solo 5 megapixel di informazioni effettive. A 4x, sono 1,25 megapixel. A 8x, 0,31 megapixel, e a 16x, solo 0,08 megapixel. Certo, l'ho fatto in Photoshop, che ha un buon algoritmo di upscaling, quindi non hai avuto la classica pixelizzazione, ma puoi vedere il problema.

Ho provato un "AI Image Enlarger" online (www.bigjpg.com)... va meglio? È abbastanza possibile per un programma di ingrandimento di immagini sufficientemente avanzato migliorare un'immagine aggiungendo informazioni durante l'ingrandimento. Ma queste informazioni sono essenzialmente inventate. È un po' come se tu assumessi un artista per disegnare un'immagine molto realistica dalla combinazione della tua immagine di partenza e della sua immaginazione. Il che va bene se l'immagine sembra migliore in una situazione artistica.

Google ha introdotto un migliore zoom digitale nel loro smartphone Pixel 3, che hanno battezzato "Super Res Zoom". Questa immagine (di Google, non mia) mostra due foto scattate con la stessa fotocamera Pixel. Quella a sinistra è uno zoom digitale ordinario, quella a destra sta usando la loro tecnica di zoom Super Res.

Quello che Google sta facendo è una tecnica usata in astrofotografia per decenni, almeno, chiamata "drizzle". Ogni foto è il risultato di un campionamento di un'immagine del mondo reale, seguendo i vincoli del teorema di campionamento di Nyquist-Shannon. Se si sposta la macchina fotografica di poco, si prende un campione da una posizione leggermente diversa, che contiene informazioni leggermente diverse. Quindi, ciò che un algoritmo drizzle fa è analizzare un certo numero di foto scattate da posizioni leggermente diverse per ricavare informazioni al di sotto della dimensione di un singolo pixel in qualsiasi immagine data.

Google prende una "pila" di tali foto, contando sul naturale tremolio della mano per variare la posizione della fotocamera. Quindi stanno lavorando con molte volte le informazioni originali in quel singolo scatto. Se l'immagine è troppo ferma, usa il meccanismo di stabilizzazione della fotocamera per spostarla solo un po'. E così, usando una fotocamera normale, Google può ottenere un ingrandimento di 1,5x abbastanza convincente, e un risultato migliore del normale zoom digitale a 2x.

Questo non è illimitato. Non importa quanti campioni vengono presi, un algoritmo di drizzle non può risolvere un'immagine oltre l'effettiva risoluzione ottica dell'obiettivo. Con uno zoom 1,5x, l'obiettivo di Google dovrebbe risolvere un'immagine ottica equivalente a 27 megapixel per fornire davvero quell'immagine 1,5x. Potrebbero essere vicini. Ma a 2.0x, avrebbero bisogno di un obiettivo capace di risolvere 48 megapixel. Questo è impossibile a f/1.8 per un sensore di queste dimensioni.

Così ho fatto un esperimento qualche tempo fa per un altro articolo di Quora, testando alcune tecniche di risoluzione. Ecco lo scatto di base con un obiettivo da 12mm.

Ecco il mio zoom digitale dell'immagine originale.

In questo caso ho usato un obiettivo da 25mm e ho scattato un panorama. Così ho creato una versione a più alta risoluzione della stessa immagine "stitching". Il miglioramento della risoluzione è abbastanza evidente.

La mia fotocamera ha anche una modalità ad alta risoluzione, in cui scatta 8 foto con offset di 1 pixel e 1/2 pixel. Non ha bisogno di un vero algoritmo di drizzle, perché l'allineamento dei pixel è preciso, ma fornisce una risoluzione reale più alta. Il miglioramento è probabilmente limitato dall'obiettivo, poiché con l'algoritmo di drizzle, questo non può migliorare l'immagine oltre la risoluzione ottica dell'obiettivo.

E infine, ecco un drizzle "a mano" che ho fatto in Photoshop. Questo ha funzionato scattando diverse foto alla risoluzione e all'obiettivo originali, sbattendo solo leggermente la fotocamera tra ogni scatto. Le immagini sono state up-rezzed e allineate in Photoshop, quindi conta sull'algoritmo di allineamento delle immagini di Photoshop per capire l'allineamento subpixel. Risultato così così, e troppo movimento dello sfondo tra gli scatti, per essere troppo efficace, ma con un vero algoritmo di drizzle, probabilmente migliorerebbe.

Leggi di più

Vedi meglio e più lontano con Super Res Zoom sul Pixel 3

Dave Haynie's post in Clickworthy: Magia dell'impilamento delle immagini, parte 2