1. 개요
나이토그래피(Nightography)는 삼성전자의 AI 카메라 프로세싱 소프트웨어이다.1.1. 이름의 뜻
이름 그대로 밤을 뜻하는 Night와 카메라 찍기를 뜻하는 Photography를 하나로 더해진 말로 '밤에 찍는 카메라'라는 뜻이다.2. 상세
어둡고 밝기가 낮은 곳에서 카메라 품질을 카메라 소프트웨어로 높인다. 카메라에 쓰이는 센서를 컨트롤하고 AI로 빛 번짐을 줄이고 깨끗하게 카메라를 찍을 수 있도록 돕는다.2022년 2월 10일 삼성 갤럭시 언팩 2022에서 갤럭시 S22 시리즈와 함께 처음 나왔다.
삼성 갤럭시에서 온디바이스 프로세싱으로 돌아간다. 삼성 갤럭시의 카메라에 나이토그래피를 쓸 수 있도록 삼성전자는 나이토그래피에 쓰이는 모든 소프트웨어에 최적화를 거치며, 삼성 갤럭시의 GPU 또는 NPU로 모든 나이토그래피의 프로세스를 온디바이스로 끝낸다.
2.1. ProVisual Engine
나이토그래피는 ProVisual Engine으로부터 받아 온 이미지 시그널 프로세서들로 돌아간다. 삼성 갤럭시에 들어가는 이미지 시그널 프로세서안 H/W ISP와 AI ISP의 콜라보레이션으로 나이토그래피가 돌아간다. H/W ISP는 머신러닝 베이스의 이미지 프로세싱으로 이미지가 들어오는 것을 라이브로 프로세싱 할 수 있다. AI ISP는 딥러닝 베이스의 이미지 리커버리를 할 수 있는 이미지 생성형 AI 모델로 저조도 및 고화소 환경에서 뛰어난 퍼포먼스를 낼 수 있으면서도, 프로세서로 들어온 이미지 데이터의 프리 프로세싱과 렌더링이 끝난 이미지의 포스트 프로세싱으로 하이레스 이미지를 만들어낸다.
H/W ISP는 라이브 프로세싱으로 때마다 달라지는 이미지의 프로세싱을 다루고, AI ISP는 생성형 AI 모델로 이미지 프로세싱을 해서 하이레스 이미지를 만든다.
나이토그래피로 사진을 찍는 모든 프로세스에 H/W ISP와 AI ISP가 같이 돌아가는 콜라보레이션으로 나이토그래피는 저조도 환경에서도 높은 퀄리티의 이미지를 찍어낼 수 있다.
2.1.1. H/W ISP
H/W ISP는 카메라 센서로부터 들어오는 로우 이미지 데이터의 라이브 프로세싱을 거친 이미지로 내보낸다. 나이토그래피에서 H/W ISP로 거치는 라이브 프로세싱은 다음과 같다.- 디모자이킹: 센서에서 받은 모자이크 데이터를 RGB 이미지로 바꾼다
- 노이즈 없애기: 이미지 센서에서 찾을 수 있는 전자 노이즈를 없앤다
- 화이트 밸런스 찾기 : 여러 빛속에서 눈으로 보이는 컬러와 같은 컬러를 찾는다.
- 톤 매핑: 이미지의 밝기와 대비를 컨트롤한다.
2.1.2. AI ISP
AI-ISP는 딥러닝 베이스의 소프트웨어 이미지 프로세싱 솔루션이다. 나이토그래피에서 AI ISP로 거치는 프리 프로세싱과 포스트 프로세싱은 다음과 같다.- 사물 인식 : AI로 이미지에 담긴 것이 무엇인지 찾아낸다. 컬러와 디테일을 높일 수 있다.
- 딥러닝 모델 베이스의 포스트 프로세싱 : 여러 프레임의 이미지를 겹쳐 하나로 만들면서 노이즈를 줄이고, 밝기를 살리며 이미지를 깨끗하게 만든다.
- 멀티 프레임 프로세싱: 여러 프레임의 이미지를 겹쳐 하나로 만들 때 AI 알고리즘으 프레임 하나하나에 최고의 파트를 알아내서 합친다. 문제가 일어난 사진을 스스로 빼서 깨끗한 이미지를 만든다.
- 딥러닝 베이스의 노이즈 없애기: ANN, CNN, ViT 등의 네트워크로 H/W ISP가 처리할 수 없는 디테일한 노이즈를 없앤다.
- 디테일 리커버리와 컬러 매핑: 디테일 리커버리로 잃어버린 디테일을 살리고 이미지에서 살려지지 않은 맞는 컬러를 찾아낸다.
2.2. 역사
- 2022년 2월 10일 삼성전자는 삼성 갤럭시 언팩 2022 2월에서 갤럭시 S22 시리즈의 카메라에 들어가는 나이토그래피를 처음 공개했다.