AI 업스케일링 동영상 (240p를 4K UHD로)

물론, 이 사진은 과장된 부분이 많습니다. 이렇게까지 잘 되진 않아요.

AI 동영상 업스케일링(Video Upscaling)이란,

인공지능 기술을 활용해 오래된 SD, HD급 저열한 동영상 화질을

2배 이상의 화질로 높여주는 프로그램입니다.

보통 화질을 줄이는 건 쉽습니다.

이미지 편집 프로그램을 사용해서 크기 리사이징을 하면 되기 때문이죠.

기존의 픽셀 정보를 활용해 평균값을 계산하면 되기 때문입니다.

하지만 화질을 높이는 것은 기존 기술로는 굉장히 어려웠습니다.

예를 들어, 1280 x 720 HD 화질의 영상을 2560 x 1440 QHD 화질로 만들려면,

필요한 픽셀의 수는 길이-면적 법칙에 따라 4배가 됩니다.

그 중 1배는 기존 픽셀이라고 치면, 3개의 픽셀을 새로 만들어내야 하죠.

 

심지어 동영상은 1초에 24장에서 많게는 60장의 사진을 필요로 하는데,

이 많은 사진들의 모자란 픽셀을 채우는 데에는 엄청난 노력이 필요하겠죠.

 

RTX 3080 갖고 싶다...

인공지능 기술은 이 "모자란 픽셀"을 채워주기에 가장 적당한 도구입니다.

 

빅데이터를 이용해 일반적인 동영상 속 개체(사람, 사물, 풍경...)을 인식하여

실제 개체와 비슷하게 모자란 픽셀을 채워주는 것입니다.

 

특히 NVIDIA CUDA 등 그래픽카드 연산 가속을 이용하면

수 GB에 달하는 큰 동영상 파일도

수 시간 내에 4K급 화질로 만들어낼 수 있는 세상이 되었습니다.

(물론, "없는 픽셀"을 만들어서 채우는 과정이다보니

실제 Native-4K 영상들에 비해서는 화질이 떨어지는 건 어쩔 수 없습니다.)

---

긴말할 것 없이,

제가 4K 60프레임으로 업스케일링한 Windows ME 인트로 동영상을 한 번 보시겠습니다.

 

그럼, 240p 30프레임의 원본 동영상을 보시기 바랍니다.
한 눈에 봐도 화질의 차이가 명확하죠?
Windows ME Intro (Original/Real) - YouTube

이 동영상을 업스케일링하는 데에는 총 3가지의 프로그램을 사용했습니다.

 

1. Topaz Video Enhanced AI
2. waifu2x-ncnn-vulkan
3. 샤나인코더 (30프레임 ~ 60프레임 보간 시 사용)

 

1번과 2번이 업스케일링 프로그램이고, 3번은 그냥 프레임 보간을 위해 사용한 인코더입니다.

1번은 토파즈 사의 유료 프로그램이고, 활용성이 좋은데 추후 포스팅에서 자세히 다뤄보겠습니다.
2020년 당시엔 Gigapixel AI for Video라고 해서 이름도 달랐고 Beta 버전은 무료로 사용 가능했는데, 지금은 무료 버전에 워터마크가 박혀있어서 사용하긴 좀 애매합니다.
GigaPixel AI for Video - YouTube

Video Enhance AI – Video Quality Software (topazlabs.com)

Video Enhance AI – Video Quality Software

---

waifu2x는 애니메이션 등 2D 영상을 업스케일링하기에 좀 더 최적화된 무료 프로그램입니다.
NVIDIA CUDNN을 이용한 것이 성능은 더 좋지만, 저 영상 만들 때는 AMD 그래픽카드를 쓰고 있어서... Vulkan 가속이 되는 아래 링크의 버전을 사용했습니다. 자세한건 나무위키 등 보면 잘 나와있어요.
GitHub - nihui/waifu2x-ncnn-vulkan: waifu2x converter ncnn version, runs fast on intel / amd / nvidia / apple-silicon GPU with vulkan

GitHub - nihui/waifu2x-ncnn-vulkan: waifu2x converter ncnn version, runs fast on intel / amd / nvidia / apple-silicon GPU with v

 

앞으로 여러 영상들을 샘플로 업스케일링해서 유튜브 및 이 블로그에 올려보기도 하겠습니다.

GPU 성능 발전이 계속됨에 따라 나름 흥미로운 영역이 될 것으로 보입니다.

---

2022년 9월 23일 추가.

 

Topaz Video Enhanced AI 디스코드 정보 공유 채팅방입니다.

관심있으신 분들은 많은 참여바랍니다.

 

https://discord.gg/RyKAyujxhX

Join the TVEAI Discord Server!