[4차산업 인공지능62] “딥페이크 기술”… 좋은 점과 어두운 점

[디지털비즈온 김맹근 기자] 딥페이크(Deepfake) 기술이 영상 산업에 적극 활용되고 있다. 보다 쉽고 간편하게 특수효과를 만들어 내거나 AR 영상을 제작하는 등 산업 전반의 가능성을 키우고 있다. 하지만 한편으로는 가짜 뉴스 제작이나 성범죄에 악용되며 혼란을 야기하고 있기도 하다.

딥페이크의 기반은 2014년에 등장한 머신러닝 기술인 ‘적대관계생성신경망(Generative Adversarial Networks, 이하 GAN)’이다. GAN은 AI 모델을 생성모델1과 분류모델2로 구분하며, 각 모델의 학습을 반복하는 과정을 거친다.

이러한 과정에서 생성모델과 분류모델은 서로를 적대적 경쟁자로 인식하며 상호 발전하게 된다. 생성모델은 실제와 유사한 데이터를 생성할 수 있게 되고, 분류모델은 데이터의 진위여부를 구별할 수 없게 되는 것이다. 이 과정을 반복하면서 원본 영상과의 구별이 거의 불가능할 정도로 정교한 합성 영상이 만들어진다.

딥페이크 콘텐츠 분석업체인 Deeptrace에 따르면, 딥페이크 관련 온라인 커뮤니티는 2019년 기준으로 20개, 이용자는 약 9만 5,000명에 달한다. 딥페이크는 실제 산업 현장에서도 널리 활용되고 있다. 영국 축구선수 출신인 David Beckham은 말라리아 퇴치 캠페인 홍보 영상에서 중국어, 힌디어, 아랍어 등 9개 언어를 구사하며 내용을 전달한다. 해당 영상 기술을 지원한 기업인 Synthesia는 딥페이크 기반의 더빙 기술을 활용하여 Beckham의 언어를 구현했다.

최근엔 의료계에서도 딥페이크 기술을 바탕으로 연구를 진행하고 있다. 2019년 7월에 독일 뤼벡대(University of Lübeck) 의료정보학연구소 연구진은 딥러닝 알고리즘의 이미지 패턴매칭 기능3을 활용하여 질병 진단용 인공지능을 개발했다. 뤼벡대 연구진은 적대관계생성신경망(GAN)을 이용하여 원본 영상과 진위여부를 구별할 수 없는 정확도의 딥페이크 의료영상을 만들어냈다.

딥페이크 영상은 인공지능이 질병을 학습하고 정확히 진단할 수 있도록 딥러닝하는데 사용된다. 환자의 사생활 침해에 대한 우려와, 의료용 3D 이미지 합성에 필요한 비용 때문에 의료영상을 분석할 데이터가 충분치 않았는데, 딥페이크 기술로 이를 해결한 것이다. 딥페이크 기술은 영상뿐 아니라, 오디오, 사진, 문서 등에서 다방면으로 활용되고 있다.

하지만 한편으로 여론을 조작하려 가짜 뉴스를 제작하거나 유명인의 얼굴을 무단 도용해 성인물을 만드는 등 그 위험성 또한 심화되고 있다. 유명 할리우드 배우들이 위조된 성인물 영상으로 피해를 보았으며, 국내에서도 온라인 커뮤니티와 SNS를 중심으로 유명인뿐 아니라 일반인까지 딥페이크의 악용 피해를 보고 있다. 최근에는 딥페이크 기술을 이용한 음성, 문서 위조 사건까지 발생하며 불안감이 고조되고 있다.

딥페이크 기술의 가능성

할리우드를 비롯한 영상 제작 업계에서는 딥페이크 기술로 특수효과를 만들어 내고 있다. 특히 과거를 재현하거나 더 이상 실존하지 인물을 그리고자 할 때 유용하게 활용되고 있다. 2016년에 개봉한 영화 4 에는 1977년 작 에 출현한 배우가 당시의 모습 그대로 등장했다.

제작진은 배우와 외형적으로 유사한 대역 배우를 섭외한 후, 모션 캡처 기법과 딥페이크 기술을 활용하여 대역 배우의 얼굴에 과거 배우의 얼굴을 합성하는 방식으로 영화를 촬영했다. Netflix도 딥페이크 기술을 활용해 주연 배우의 현재와 과거 모습을 동시에 재현해 낸 의 출시를 예고했다.

딥페이크 기술은 AR·VR 콘텐츠 제작에도 활용되고 있다. 미국 플로리다에 있는 화가 Dali 박물관은 미국의 광고사인 Goodby, Silverstein & Partners(GS&P)와 협업해 몇십 년 전에 작고한 예술가를 되살려냈다. GS&P는 Dali의 영상을 수집한 후 머신러닝 기법을 활용해 표정 알고리즘을 분석했다.

이후, Dali와 신체적 특징이 유사한 대역 배우를 섭외해 배우의 얼굴에 Dali의 얼굴·표정을 합성하고 Dali와 비슷한 성우의 목소리를 입혔다. 전시회 관람객들은 실물 크기의 키오스크 속에 등장하는 Dali와 촬영하고, 대화하는 등 AR Dali의 안내를 받으며 작품을 감상할 수 있다.

딥페이크 기술의 폐해

한편, 유명인의 신체를 무단 도용해 만든 딥페이크 포르노도 확산되고 있다. Deeptrace에 따르면, 온라인에 퍼져 있는5 딥페이크 영상은 2018년 12월 기준 7,964개에서 2019년에는 14,678건으로 전년도보다 84% 상승했다.

딥페이크 영상 중에서도 성인물이 전체의 96%를 점유하며 가장 큰 비중을 차지하고 있다. 딥페이크 성인용 콘텐츠를 중점적으로 게시하는 사이트 중에서 규모가 가장 큰 4개 사이트의 총 영상 조회 수는 1억 3,436만 4,438회에 달한다.

Deeptrace가 딥페이크 성인용 콘텐츠 전용 사이트 5개(규모가 가장 큰 사이트 5개이다)의 영상을 분석한 결과, 영상에 등장하는 특정 인물의 성별이 모두 여성이었다. 인물의 국적을 살펴보니 41%가 미국인, 25%가 한국인, 12%가 영국인, 6%가 캐나다인, 3%가 인도인이었으며, 인물의 99%가 연예계 종사자였다. 문제는 해당 영상의 대부분이 대상자의 허락을 받지 않고 불법 도용된 이미지로 파악된다는 것이다.

가짜 뉴스도 심각한 딥페이크 악용 사례이다. 유명인사의 얼굴을 합성한 딥페이크 뉴스가 난무함에 따라 정치적·사회적 불안감이 가중되고 있다. 2019년 9월, 이탈리아에서 Matteo Renzi 전 총리가 다른 정치인들을 모욕하는 딥페이크 영상이 한 프로그램에서 방영된 후, SNS를 통해 급속히 확산되었다.

해당 영상은 배우의 몸에 총리의 얼굴을 합성한 조작 영상이었지만, 영상의 내용을 실제처럼 인식한 일부 SNS 이용자가 총리를 향해 거센 비판을 제기하는 해프닝이 일어나기도 했다.

따라서 딥페이크는 높은 활용도만큼 허위 정보를 제작해 사회적으로 혼란을 일으킬 수도 있다. 더 큰 문제는 일반인도 쉽게 딥페이크에 접근할 수 있다는 점이다. 이에 따라 AI 창조성 악용으로 새롭게 등장한 딥페이크 범죄에 대응하기 위한 방안이 필요하다.

제도적 마련과 더불어 기술적으로도 딥페이크 콘텐츠를 판별하는 시스템이 하루빨리 개발돼야 한다. 메타, 구글 등에서는 이를 개발하기 위한 연구가 이미 진행 중이다. AI의 양면성이 명확하게 드러나는 딥페이크의 명암을 바로 알고, 적극적인 대처를 해야만 한다.