Stare zdjęcia znów są nowe: GFP-GAN to nowy model AI do przywracania obrazów.
Jest to model, który wykonuje pośrednią renowację zdjęcia przed dostarczeniem go do GAN Nvidii. Wyniki są dobre. Dostępna jest również aplikacja internetowa do wypróbowania.
Badacze Tencent stworzyli nowy model sztucznej inteligencji do przywracania starych zdjęć. Opiera się na Generative Adversarial Network (GAN), ale integruje również moduł, który nadaje priorytety twarzom i poprawia obraz początkowy, aby uzyskać „mniej wymyślony” finał.
Nowy model nosi nazwę GFP-GAN, gdzie GFP oznacza „Generative Facial Prior”. GAN używany do tworzenia twarzy to StyleGAN2 firmy Nvidia, a więc jest to sieć, która zapewnia automatyczne uczenie się w oparciu o generator twarzy i wyznacznik generowanych twarzy. Obaj rywalizują i są „nagradzani” zgodnie z uzyskanymi wynikami.
Rekonstrukcja twarzy ludzi na obrazach z GAN zakłada, że zdjęcie o niskiej rozdzielczości lub niewyraźne daje odtworzony obraz w wysokiej rozdzielczości, który w wersji o niskiej rozdzielczości jest podobny do oryginalnego.
W rzeczywistości osoba zrekonstruowana przez GAN jest „inną” osobą. Piksele użyte do przywrócenia zdjęcia są wymyślane zgodnie z kryteriami, ale prowadzi to również do wyników, które nie mają nic wspólnego z rysami twarzy pierwotnie portretowanej osoby.
Ułatw pracę GAN poprzez wstępną obróbkę zdjęcia
Rozwiązanie Tencenta dodało GFP działające przed pracą wykonaną przez GAN. Jest to model, który „poddaje wstępnej obróbce” oryginalne zdjęcie i wykonuje odbudowę pośrednią, aby nadać GAN obraz łatwiejszy do interpretacji . Dodatkowo ostateczna weryfikacja obrazu uwzględnia badanie kluczowych rysów twarzy takich jak oczy i usta.
Model GFP-GAN nadal ma pewne słabości w ostrości obrazów (czasami mogą wyglądać na pomalowane) i nadal mogą występować pewne różnice w ostatecznej tożsamości.
W rzeczywistości zauważyliśmy, że najlepsze wyniki uzyskuje się na zdjęciach z twarzami na pierwszym planie i że najlepsza ostrość dotyczy głównie rysów twarzy, ale niewiele innych elementów zdjęcia.
Kod został opublikowany na GitHubie i jest też aplikacja internetowa (niestety już niedostępna), która umożliwia przesyłanie zdjęć i wypróbowanie GFP-GAN (zalecana przeglądarka z silnikiem Chromium).
dday
Badacze Tencent stworzyli nowy model sztucznej inteligencji do przywracania starych zdjęć. Opiera się na Generative Adversarial Network (GAN), ale integruje również moduł, który nadaje priorytety twarzom i poprawia obraz początkowy, aby uzyskać „mniej wymyślony” finał.
Nowy model nosi nazwę GFP-GAN, gdzie GFP oznacza „Generative Facial Prior”. GAN używany do tworzenia twarzy to StyleGAN2 firmy Nvidia, a więc jest to sieć, która zapewnia automatyczne uczenie się w oparciu o generator twarzy i wyznacznik generowanych twarzy. Obaj rywalizują i są „nagradzani” zgodnie z uzyskanymi wynikami.
Rekonstrukcja twarzy ludzi na obrazach z GAN zakłada, że zdjęcie o niskiej rozdzielczości lub niewyraźne daje odtworzony obraz w wysokiej rozdzielczości, który w wersji o niskiej rozdzielczości jest podobny do oryginalnego.
Ułatw pracę GAN poprzez wstępną obróbkę zdjęcia
Rozwiązanie Tencenta dodało GFP działające przed pracą wykonaną przez GAN. Jest to model, który „poddaje wstępnej obróbce” oryginalne zdjęcie i wykonuje odbudowę pośrednią, aby nadać GAN obraz łatwiejszy do interpretacji . Dodatkowo ostateczna weryfikacja obrazu uwzględnia badanie kluczowych rysów twarzy takich jak oczy i usta.
Model GFP-GAN nadal ma pewne słabości w ostrości obrazów (czasami mogą wyglądać na pomalowane) i nadal mogą występować pewne różnice w ostatecznej tożsamości.
W rzeczywistości zauważyliśmy, że najlepsze wyniki uzyskuje się na zdjęciach z twarzami na pierwszym planie i że najlepsza ostrość dotyczy głównie rysów twarzy, ale niewiele innych elementów zdjęcia.
Kod został opublikowany na GitHubie i jest też aplikacja internetowa (niestety już niedostępna), która umożliwia przesyłanie zdjęć i wypróbowanie GFP-GAN (zalecana przeglądarka z silnikiem Chromium).
dday
