1. 정의
인터레이스(비월 주사) 방식의 영상을 프로그레시브(순차 주사)로 바꾸는 과정을 말한다.2. 인터레이스 영상이란?
TV가 최초로 발명됐을 당시에는 부족한 하드웨어 성능과 대역폭으로 인하여 사람들이 원하는 대로 초당 60회[1] 이상의 단일 화면을 표시하기 곤란했다. 그래서 하나의 화면을 가로줄 단위로 자른 뒤[2] 처음은 홀수 번째 줄만 스캔을 하고 그 다음은 짝수 번째 줄만 스캔을 하는 방식으로 초당 60장의 영상을 구현하였는데 이것을 인터레이스라고 한다. 스캔된 결과물 하나하나를 필드라고 하며 짝수 줄만 스캔한 것을 탑 필드, 홀수 줄만 스캔한 것을 바텀 필드라고 부르며 브라운관 기준으로 각 필드를 매 초마다 60번씩 번갈아가며 표시했다.[3][4] 이와 달리 프로그레시브 영상은 하나의 화면이 하나의 프레임을 이룬다.3. 인터레이스 영상을 디인터레이싱하지 않으면 어떤 일이 일어나는가?
첫 번째 필드가 최초 1/60초 동안의 화면을 촬영한 것이면 두 번째 필드는 그다음 2/60초의 화면을 촬영한 것이다. 각각 다른 시각을 촬영한 것인데 브라운관에선 구조상 둘을 순차적으로 번갈아가며 표시할 수 있지만 이를 지원하지 않는 프로그레시브 환경에선 이를 표시하기 위해 이것을 하나로 합쳐버리니 하나의 화면에 두 개의 상이 만들어지게 된다. 물론 움직임이 거의 없는 영상에서는 별로 티가 안 나지만 스포츠나 댄스 등 움직임이 많은 영상에서는 쉽게 이상한 점을 알아차릴 수 있다. 만약에 디인터레이싱을 하지 않은 상태로 세로 해상도를 바꾸어 리사이즈하게 되면 두 개의 상이 겹친 것이 영구적으로 남아버리게 된다.[5] 그럼에도 디인터레이싱을 하지 않은 채 인코딩한 뒤 영상을 배포하는 사례를 주위에서 쉽게 찾아볼 수 있다.사실 기준을 많이 빡빡하게 잡을 경우, 네이티브 인터레이스 영상을 "원본에서 어떠한 손실이나 왜곡 없이 네이티브 60p/30p처럼 100% 완벽하게" 프로그래시브로 디인터레이싱하는 건 불가능하다. 무슨 방법을 쓰든 세로 해상도에 어느 정도는 열화 또는 변형이 생길 수 밖에 없기 때문이다. 그래서 성향에 따라선 네이티브 인터레이스 영상의 디인터레이싱 자체를 원본 훼손으로 여겨서 불호하고 내장 디인터레이서를 일부러 꺼놓는 경우도 가끔 있다. 그러나 방송계 등을 제외하면 대체적으로 프로그레시브 환경이 훨씬 많은 오늘날엔 네이티브 인터레이스 영상을 원본 째로 공유하는 것이 아닌 이상 어딘가에 써먹으려면 디인터레이싱이 불가피하다. 영상 공유 시 원본 인터레이스 영상은 따로 백업해두고 QTGMC[6]등 원본 손상이 적은 고성능 디인터레이서를 사용하는 것을 추천한다. 애초에 유튜브 등에서도 인터레이스 영상은 알아서 디인터레이싱을 하기 때문에 차라리 따로 고급 디인터레이서를 사용하는 것이 낫다.
4. 60i에서 60p로의 변환은 의미가 있을까?
보통 SD 방송, HD 방송 원본의 경우 30p[7]로 표시되는데, 사실은 30p가 아니라 60i[8]로 되어 있는 것이다. 60i는 '초당 60장의 필드'를 가지고 있는 60fps 영상이므로[9] 필드를 하나의 프레임으로 확장시켜서 60p로 만들어서 감상하는 게 최선책이다. 필드를 프레임으로 뻥튀기하는거지, 30p→60p처럼 처음부터 없는 프레임을 만들어서 부풀리는 게 아니다. 물론 60i 자체의 정보량이 60p보다 적기 때문에 일종의 업스케일링이 되지만, 네이티브 프로그래시브 영상의 프레임 2배수에 비하면 추측으로 복원하는 정도가 덜하므로[10] 30p로 처리해봤자 용량 말고는 딱히 이점이 없고, 어차피 디인터레이싱 특성 상 네이티브 30p와 아예 똑같은 퀄리티로 나오지도 않는다.[11]단, 진짜 60fps가 아닌 2:3 풀다운된 영상[12]의 경우 일반적으로 쓰이는 디인터레이싱 필터를 사용하면 실제 60fps도 아닌 영상의 필드들이 중복되어 60fps로 불어남은 물론이고 화질에서도 손해를 볼 수 있다. 따라서 이때는 필드매치를 우선적으로 고려하되 그 난이도[13]가 지나치게 높을 경우 차선책으로서 60p로 전환한다.
풀다운된 24FPS 영상이 섞인 경우는 프레임당 한 필드만 골라내어 30p로 전환하는 방법[14]도 흔히 쓰인다. 이 방법을 사용하면 30p였던 부분의 프레임 레이트는 그대로 유지되고 60p는 절반으로 줄어들며 24p는 4프레임당 한 프레임이 균등하게 중복되어 감상에 그리 큰 불편함[15]이 없다. 이러한 형태의 30p 전환은 '60p 변환은 낭비이지만 그렇다고 정확하게 필드매치를 할 여건도 안 되는 상황'에서 궁여지책으로 쓰인다. 만약 이미 60p 혹은 50p로 디인터레이스된 프로그레시브 영상이라면 짝수/홀수 프레임[16]을 select와 같은 필터를 써서 정확하게 골라낼 수 있다.
네이티브 30p 영상을 60p로 만들기 위해서는 프레임 사이에 프레임을 만드는 플루이드 모션 같은 기술을 사용해야 하며, 물론 가장 좋은 것은 처음부터 네이티브 60p로 만들어진 영상이다.
60i → 60p 영상은 네이티브 60p과 비교했을 때, 세로 해상도가 살짝 부족한 것 외에도 화면이 "번지는" 느낌이 비교적 강한 경우가 많은데, 480i60 SD 카메라와 구형 1080i60 HD 카메라들의 기본 셔터 스피드가 1/60, 즉 네이티브 60p의 적정 셔터 스피드인 1/120보다 절반 느리게 설정되어있는 것이 한 몫 한다. 60p 상용화 이전까지는 60i → 30p 디인터레이싱이 사실상 표준이었기 때문에 60i의 기본 셔터 스피드도 30FPS에 최적화되어있는 것. 이 때문에 블러 감소(DeBlur)를 지원하는 디인터레이서도 있다.
2000년대 이전 구형 60i 카메라들은 "시네마 모드", "프레임 모드"같은 이름의 30p 모드가 내장되어 있는 경우가 많으나, 센서 자체가 프로그레시브인 모델이 아닌 이상 전부 네이티브 30p가 아니라 카메라가 자체적인 디인터레이싱으로 녹화하는 모드에 불과하다.[17] 전문가용이 아닌 일반 소비자용 모델이라면 100% 이 경우로, 원시적인 방식을 쓰기 때문에 60i 녹화와 비교했을 때 세로 해상도가 낮게 잡아도 30% 정도는 손실된다. 60p가 상용화되기 한참 전인 발매 당시면 모를까, 지금 기준으로는 30p 영상만 필요하다 쳐도, 60i로 찍은 뒤 나중에 30p로 디인터레이싱 돌릴 여유 자체가 없는 경우가 아니라면 딱히 쓸 이유는 없다.
5. 디인터레이싱의 종류
5.1. weave
두 필드를 하나의 프레임으로 합치기만 하고 별다른 처리를 하지 않는다. 움직임이 있으면 그 부분에 가로줄이 보이게 된다.5.2. blend
주사선을 섞어 내보낸다. 단순 자기복제식 bob에 비해 세로 해상도 손실이 덜하지만 2개의 상이 겹쳐 보이는 단점이 있다. 디인터레이스 없이 리사이즈했을 때도 비슷한 현상이 일어나는데, 결정적으로 다른 점은 blend는 각 필드의 명도와 채도 값을 균일하게 섞어 내보낸다는 것이다. 따라서 리사이즈했을 시엔 인터레이스 가로줄의 흔적을 관찰할 수 있는 반면, blend는 두 상이 정확하게 한 화면에 표시되어 마치 움직임에 잔상이 남는 것처럼 표현된다는 차이가 있다.90년대 후반 ~ 2000년대 초반의 DV 영화들이 대체로 이 방식을 사용한다. 프레임 단위로 넘겨보면 빠른 움직임에서 blend 특유의 잔상을 볼 수 있다.[18]
5.3. bob
필드의 세로 해상도를 2배로 늘려서 프레임으로 만든다. 결과적으로는 프레임 더블링이 된다. 세로 해상도를 늘릴 때 단순히 자기 복제를 하는지, 아니면 앞/뒤/위/아래 필드를 참조해서 최적의 픽셀을 넣느냐에 따라 품질이 좌우된다. 단순히 세로 해상도를 늘리기만 하는 경우에는[19] 세로 해상도가 절반이기 때문에 영상이 다소 흐려지며, 명암차가 큰 부분에 계단 현상이 거슬릴 정도로 생기거나 화면이 위아래로 살짝 떨리는 듯한 모습도 볼 수 있다.아날로그 시절에는 디인터레이싱을 위해 수천만 원짜리 장비가 필요했으나 디지털 시대가 되면서 5만 원짜리 그래픽 카드만 사도 그래픽 카드 제조사에서 제공하는 고품질의 디인터레이싱 기능을 사용할 수 있게 되었다.
5.4. yadif, nnedi
필드의 세로 해상도를 2배로 늘려 하나의 프레임을 만드는 것은 bob과 같지만, 늘리는 방법에 있어 훨씬 발전한 방법을 사용하여 더욱 선명한 화면을 보여준다. 또한, 각 프레임당 한 필드만 디인터레이스함으로써 30fps로 감상하는 것도 가능하도록 되어 있다. AviSynth를 사용한다면 yadif와 nnedi 둘을 동시에 적용하는 것도 가능[20]하다.ffmpeg로 인코딩할 시 yadif나 nnedi3를 사용할 수 있다. 그외에도 MX 플레이어가 yadif 디인터레이싱을 지원한다.
Yadif 계열의 더 나은 방식으로 Estdif, Bwdif 등이 있다. Estdif는 HD해상도에 Bwdif는 SD해상도에 사용하는 것이 권장된다.
5.5. fieldmatch
원본 필름의 프레임 레이트는 따로 있고 풀다운을 통해 만들어진 인터레이스 영상에만 적용 가능한 방법이다. 가장 대표적인 것이 24fps를 60fps로 전환하는 데 쓰이는 2:3 풀다운으로, 이런 영상은 24장의 각 프레임 하나하나를 2번, 3번 교대로 반복하여 60장을 만들고 그것을 인터레이스해서 만들어진다. 이때 필연적으로 패턴이 생기기 때문에 해당 패턴에 맞추어 필드의 순서를 바꾸면 원본 프레임을 복원할 수 있다. 24p to 60i 영상을 필드매치하면 30p 영상이 만들어지게 되며, 여기서 사용된 패턴에 따라 중복된 프레임을 제거하면 최종적으로 24p의 네이티브 필름 레이트의 영상이 복원된다. 자동 필터를 통해 실시간으로 가능한 경우도 있지만, 오래된 영상의 경우 영상 중간에 풀다운 패턴이 바뀌거나, 패턴 중간에 잘라 이어붙인 구간이 존재하거나, 패턴 자체가 파탄나거나 하는 일이 자주 일어나기 때문에 모든 프레임을 일일이 확인해 편집하는 수작업과 재인코딩이 필요하며, 영상에 필드 고스팅 같은 현상이 발생했을 경우에는 완벽하게 복원하는 것이 불가능할 수도 있다. 엄밀히 말하면 디인터레이싱이라기보다는 디텔레시네에 해당하지만, 영상 포럼에서 DVD를 디인터레이스해 프로그레시브로 복원한다는 식이 말이 나오면 거의 이쪽일 정도로 개념이 혼용된다.5.6. Skip Field, Select
보통 60i를 30p로, 혹은 50i를 25p로 전환할 때 쓰지만[21] 필드매치와 같이 원본 프레임 레이트는 따로 있고 풀다운을 통해 만들어진 인터레이스 영상에도 큰 불편 없이 적용 가능하며 Select를 잘 사용하면 필드매치와 같은 효과를 낼 수도 있다.[22] 이때 다른 점은 필드매치가 탑 필드와 바텀 필드를 합쳐 하나의 온전한 프레임을 만들어낸다면 셀렉트는 일단 영상을 디인터레이스한 뒤 풀다운 패턴에 맞추어 필요한 필드만을 추려낸다는 점이다. 따라서 단순히 디인터레이스한 것과 별반 다를 것 없는 화질이 나오게 된다. 그럼에도 셀렉트가 종종 쓰이는 이유는 필드매치에 비해 훨씬 간편하고 여러 패턴이 뒤섞인 영상으로부터도 CFR을 유지할 수 있으며 제아무리 잘못해도 최소한 인터레이스 주사선을 볼 일은 없기 때문이다. 또한 타이밍이 다른 오버레이나 24/30/60프레임이 섞인 영상에서도 프레임레이트를 바꾸지 않고서 대처할 수 있다는 강점이 있다.5.7. SeparateFields
필드를 분리하되 그 어떤 조작도 하지 않는다. 따라서 프레임 레이트는 두 배로 늘어나고 세로 해상도는 원본 프레임의 절반이 된다. 이 상태에서 세로 해상도를 두 배로 늘려 보정하는 것이 일반적인 디인터레이스이며 Select를 사용하여 필요 없는 필드를 탈락시키고 순서를 바꾼[23] 후 Weave로 되돌리면 필드매치가 된다. SeparateFields 자체는 감상용으로 쓰일 만한 방법은 아니지만 아무런 조작도 가하지 않기 때문에 Weave를 사용하여 원본 인터레이스 영상 그대로 되돌릴 수 있다는 특징이 있다. 따라서 SeparateFields는 인터레이스를 유지하면서 영상을 편집하거나, 자막을 넣거나, 보정 필터를 거는 등의 작업을 할 때 사용된다.6. 디인터레이싱 방법
6.1. 텔레비전으로 감상
브라운관 TV는 구조상 인터레이스를 그대로 지원하고, 모든 디지털 텔레비전은 자체적으로 디인터레이싱 프로세서를 내장하고 있다.6.2. 컴퓨터로 감상
LAVFilters를 설치하거나 Windows 내장 코덱으로 재생하면 자동으로 디인터레이싱이 된다. "LAV 코덱 60프레임" 등으로 검색해보면 많은 정보를 얻을 수 있다.팟플레이어를 사용하는 경우에는 기본값이 Blend로 되어 있어서 30프레임으로 나온다. Motion Adaptive(2× Frame)나 하드웨어 디인터레이싱으로 바꾸거나, DXVA 기능을 활성화하면 60프레임으로 감상 가능하다.
곰플레이어는 디인터레이싱 ON/OFF만 가능하며, 세부 설정이 불가능하기 때문에 30프레임으로만 감상 가능하다. 60프레임으로 보고 싶으면 다른 프로그램으로 바꿔야 한다.
6.3. 인코딩을 할 때
영상이 HDTV 원본이거나 mediainfo로 봤을 때 interlaced라고 나온다면 디인터레이싱이 꼭 필요하다. 웬만한 인코딩 프로그램에는 디인터레이싱 옵션이 있으므로 찾아서 켜면 된다.영상의 모든 움직임에 인터레이스 가로줄이 발생하지 않고 특정한 패턴[24]이 존재한다면 풀다운된 영상이므로 fieldmatch와 decimation 필터를 사용하여 프로그레시브로 복원할 수 있다. 만약 인코딩 프로그램의 자동 필터를 사용한 결과물이 만족스럽지 않다면, avisynth 등의 스크립트와 영상 편집 툴을 사용해 수작업으로 할 수도 있다.
7. 참조
http://www.100fps.comhttps://en.wikipedia.org/wiki/Deinterlacing
https://en.wikipedia.org/wiki/Telecine
[1] NTSC 기준이다. 그리고 정확히는 1.001초당 60회이다. 60fps 영상의 프레임 레이트가 59.94로 표시되는 이유이다. 24와 23.976, 30과 29.97의 관계도 이와 동일하다. 가독성을 위해 이하 문서에서는 24, 30, 60, 1초로 통일해 표기한다. 첨언하자면, PAL은 이런 소수점 없이 정확하게 1초당 50회이다.[2] 굳이 가로줄인 이유는 브라운관이 화면을 위부터 아래로 지그재그로 그렸기 때문이다.[3] 이 덕에 대역폭을 줄이며 초당 60초의 부드러운 영상을 구현시켰지만 필드가 쉼없이 바뀌기 때문에 정지화상이나 자막 등이 위아래로 조금씩 떨려 보이는 부작용이 있었다.[4] 브라운관과 구조가 아예 다른 lcd, oled 등에선 디인터레이싱을 하는 것으로 해결했다. 참고로 두 필드를 그냥 합치면 Weave 디인터레이싱이 된다.[5] 엄밀히 말하면, 리사이즈와 상관없이 인터레이스 포맷을 디인터레이스 없이 프로그레시브 포맷으로 재인코딩하는 것만으로 문제가 발생한다. 인터레이스 영상은 비록 두 필드가 한 프레임에 표시되더라도 각 필드의 채도와 명도 값이 분리되어 절대 섞이지 않도록 인코딩되는 반면 프로그레시브는 그렇지 않기 때문이다. 다만, 세로 해상도를 리사이즈하지 않았으면 그나마 어느 정도는 원래의 화면을 복원할 가능성이 있지만 리사이즈를 했을 경우 손을 대는 것 자체가 불가능하게 된다. 따라서 인터레이스 영상을 재인코딩할 때는 제대로 인터레이스 플래그를 지정하고 세로 해상도를 바꾸어서는 안 되며, 프로그레시브로 인코딩해야 한다면 반드시 디인터레이스해야 한다.[6] BOB, NNEDI 등 여러 디인터레이서들을 같이 쓰는 동시에 고성능의 노이즈, 움직임 보정 알고리즘을 적용하는 현재 최고 성능의 디인터레이서. 다만 인코딩 시간이 꽤 들고 AviSynth 기반이므로 사용이 까다로울 수 있다.[7] 30프레임의 프로그레시브 형식 영상을 뜻한다.[8] 60필드의 인터레이스 형식 영상을 뜻한다.[9] 구형 HDTV나 VOD 서비스, 유튜브 등의 인터넷 매체에서는 기술력이나 비용, 용량 등의 문제로 네이티브 60i 영상을 대부분 30p로 디인터레이싱하기 때문에 아예 60i = 30p로 오해하는 경우도 많은데, 60i는 어디까지나 60p의 반쪽짜리급인 "1초당 60필드"라 "1초당 30프레임"인 30p와 프로그레시브 환경에서 볼 시에 움직임이 비슷할 뿐 아예 똑같은 게 아니다. 어도비 ME 등 동영상 인코더에서 30p→60p로 변환해보면 같은 프레임을 2번 반복해서 60p를 채울 뿐 실질적인 프레임 증가가 없는 반면 60i→60p는 세로 해상도가 반토막나긴 해도 제대로 된 60p로 변환되고, 반대로 60p→60i가 아닌 30p→60i는 변환해도 인터레이스 주시선이 아예 생기지 않는 이유가 이것 때문이다.[10] 굳이 따지자면 세로 해상도만 두 배로 늘리는 것이다. 더욱이 탑 필드와 바텀 필드는 단순히 원본의 1/2 해상도가 아니라 각각 원본의 짝수 줄, 홀수 줄을 그대로 보존한 상태이고 앞뒤 프레임을 참조하는 것도 가능하기 때문에 실제 난이도는 그보다도 더 낮을 수 있다.[11] 이런 원리를 적극적으로 이용한 게 PlayStation 4 Pro에서 사용하는 체커보드 렌더링. 물론 이쪽은 60i → 60p에 비하면 본격적인 업스케일링이다.[12] 대개 영화, 드라마, 애니메이션, 다큐멘터리, TV쇼 프로그램 등이 그렇다. 미국을 기준으로 했을 때, 대략 제2차 세계 대전 이후의 모든 TV 방송은 풀다운된 것으로 일부 자막이나 CG, 로고 정도만이 별도의 60i 레이어로서 영상에 삽입된다.[13] 원본은 24프레임이지만 60i상에서 편집된 영상. 이런 영상을 억지로 되돌리면 무작위한 프레임 손실 및 중복이 나타난다. 그외에는 필드 고스팅 현상이 심각한 경우, 24/30/60 프레임이 뒤섞인 경우 등이 있다.[14] 하술할 종류 중 'Skip Field' 방식.[15] 48프레임인 장면에서는 8프레임당 3프레임이 떨어져 나가 13468과 같은 형태를 띈다. 이는 시각적으로 다소 어색하다. 다만 60i 영상에 네이티브 48프레임 씬이 포함되는 일은 극히 드물고 대부분 둘 이상의 24프레임 레이어가 한 화면에 시간차를 두고 표시되는 바람에 우연히 만들어지는 것임을 감안하면 큰 문제는 아닐 수 있다.[16] TFF일 경우 짝수(0,2,4,6…)이고 BFF일 경우 홀수(1,3,5,7…)이다.[17] 예외적으로 소니제 DV 캠코더의 프로그래시브 이펙트는 진짜로 프로그레시브 녹화다. 15프레임이라서 써먹을 곳이 없을 뿐(...).[18] 좀 괴상한 경우도 있는데, PAL 576i50로 촬영한 후 16mm 필름에 확대 인화한 것이 최종 완성본인 하모니 코린의 <줄리언 동키 보이>는 대체 필름 인화 과정이나 DVD화 과정에서 무슨 짓을 한건지, 어떤 장면은 blend 잔상이 보이지만 어떤 장면은 (분명히 디인터레이싱하고 인화했을 필름 원본 기반인데도) 인터레이스 잔상이 대신 보이고, 어떤 장면은 아예 두 잔상이 동시에 보인다(...).[19] 어도비 ME의 경우, 단순하게 인터레이스 영상을 넣고 필드를 '프로그래시브'로 바꾸면 이렇게 처리한다. 제일 기초적인 디인터레이싱만 지원하는 셈.[20] 이것은 엄밀히 말하면 yadifmod2의 기능으로, 디인터레이스 후 화면을 보정하는 과정에서 다른 디인터레이서가 생성한 화면을 참조하도록 하는 옵션이 있다. 따라서 다른 어떤 디인터레이서와도 결합될 수 있다.[21] 특히 ffmpeg에서는 -filter:v "yadif=0:-1:0"으로 간편하게 쓸 수 있다. 만약 이미 60p 혹은 50p로 인코딩된 프로그레시브 영상이라면 -filter:v "select=not(mod(n\\,2)),fps=source_fps/2"로 짝수만 골라낼 수 있다. 이때 홀수만 골라내려면 not()을 제거한다.[22] 이때는 '유효 프레임/패턴 프레임' 식으로 사용한다. avisynth를 예로 들면 2:3 풀다운에서 selectevery(5, 0, 2)로 쓴다. 5장마다 첫 번째와 세 번째를 반복해서 골라낸다는 의미이다.[23] 2:3 풀다운 기준으로 c.SeprateFields().SelectEvery(10, 0,1, 2,3, 6,5, 8,9).Weave().AssumeFPS(24000,1001). 필드 10개당 다섯(4) 번째와 여덟(7) 번째 필드를 탈락시키고 여섯(5) 번째와 일곱(6) 번째 필드의 순서를 바꾼 후 재조립, 이후 프레임레이트를 24/1.001로 변환. 프레임이 특정 숫자일 경우 찌꺼기 필드 하나가 프레임으로 변환되어 마지막에 붙을 수 있는데 이것은 나중에 잘라내면 된다.[24] 2:3 혹은 3:2 풀다운의 예를 들면, 화면이 끊임없이 움직이는 구간에서 3개의 프로그레시브 프레임과 2개의 인터레이스 프레임이 나란히 배치된 패턴을 관찰할 수 있다. 이때 프로그레시브 프레임의 매치를 C, 인터레이스된 프레임의 매치는 P라고 하면 2:3 풀다운은 CCPPC, 3:2 풀다운은 CPPCC 패턴이 된다.