“진짜 사람 맞아?” 요즘 TV나 SNS(소셜네트워크서비스)를 볼 때면 간혹 이러한 느낌이 들곤 한다. 얼핏 보면 눈썹을 치키거나 미소를 짓는 표정이 사람 모습과 흡사하다. 브런치를 즐기고 실제 인물과 함께 사진을 찍기도 한다. 하지만 자세히 보면 매끈한 피부와 생김새가 완전한 사람 모습은 아니다. 요즘 화제인 가상인간이다. 

메타버스 같은 온라인 세계에서 주로 활동하던 가상인간이 현실 세계로도 진출했다. 최근 가상인간은 SNS상에서 수십만 팔로어를 거느리며 방송, 광고, 뉴스, 드라마에서 종횡무진 활약하고 있다. 사람들은 가상인간에 호기심과 매력을 느끼며, 마치 연예인처럼 이들의 일거수일투족에 관심을 갖고 귀를 기울인다. 놀라운 점은 이들이 사람보다 더 큰 영향력을 행사하고 엄청난 수익까지 내고 있다는 사실이다. 가상인간이 탄생하기까지 디지털 인간을 만드는 복합적인 기술도 급격히 진화하고 있다.

인간을 복제한 디지털 인간

가상인간이란 사람을 닮은 모습으로 만들어진 가상의 캐릭터를 말한다. 로봇과 달리 실체 없이 소프트웨어적으로만 구현돼 ‘버추얼 휴먼’ 또는 ‘디지털 휴먼’으로도 불린다. 인간의 신체적 움직임과 얼굴 표정, 대화법 등을 그대로 복제한 3D(3차원) 창작물이다.

가상인간은 시리, 알렉사 같은 음성 봇과도 비슷하지만 시각적으로 진화된 버전이라고 볼 수 있다. 인간을 닮은 아바타 모습에 뛰어난 지능과 풍부한 감성의 표현력이 더해졌다. 외형적으로는 3D 기술로 사람의 신체를 구현하고, 내면적으로는 인공지능(AI)을 통해 인간의 사고방식과 표현을 모방한다. 여기에 부드러운 목소리 톤과 얼굴 표정으로 인간과 자연스럽게 상호 작용할 수 있다. 외모나 행동 모두 인간과 놀라울 정도로 유사해 사람들을 혼돈에 빠뜨리기도 한다. 가상인간은 사람의 형태와 행동을 3D로 정밀하게 구현했다는 점에서 딥페이크 기술과 유사하게 보일 수도 있다. 그러나 딥페이크가 특정 인물을 모방해 그가 하지 않은 행위나 말을 조작하는 기술이라면, 가상인간은 합의 하에 특정 모델을 두거나 정체성을 새로 창조하는 경우가 대부분이다.

가상인간을 만드는 기술은 첨단기술의 집합체라고 해도 과언이 아니다. 인간과 똑같은 모습으로 말하고 행동하려면 AI, 기계학습, 얼굴 애니메이션, 음성 변환 기술, 실시간 렌더링 등 고급 기술이 필요하다. 가상인간을 개발하는 대표 업체로는 뉴질랜드 스타트업 솔머신스(Soul Machines)가 있다. 이 회사는 영화 ‘아바타’와 ‘반지의 제왕’ 등을 제작한 엔지니어들이 설립한 곳이다. 뉴질랜드의 또 다른 스타트업 유니큐(Unique)는 사람 형상을 한 대화형 AI를 선보였다. 전통적인 게임 개발사 미국 에픽게임즈는 디지털 캐릭터 제작 툴인 메타휴먼 크리에이터를 개발했다.

가상인간을 만들려면 먼저 사람의 얼굴과 감정을 정밀하게 표현하는 고급 3D 모델링 기술이 필요하다. 블렌더(Blender), 지브러시(ZBrush), 3DS맥스(3DS Max), 마야(Maya) 등 3D 소프트웨어가 사용되며, 모션 캡처를 하기도 한다. 모션 캡처는 인체 움직임을 디지털 형태로 애니메이션화하는 기법이다. 모델이 되는 배우의 몸에 센서를 부착해 여러 대의 고해상도 카메라로 몸짓과 얼굴 움직임을 기록하는 작업을 거친다. 이렇게 만든 3D 그래픽을 실시간으로 처리하는 데도 특수 소프트웨어 엔진과 강력한 컴퓨팅 성능이 필요하다.

3D 모델링으로 가상인간의 외형을 구현했다면, AI 기술을 통해 입력을 처리하고 피드백을 제공하게 한다. 가상인간은 감정을 전달하고 대화를 매끄럽게 진행할 수 있는 수준이 돼야 한다. 이를 위해 맥락 기반 행동을 생성할 수 있는 고도의 AI 기술이 필요하다. AI는 수집된 데이터를 통해 신경망 훈련을 하고, 데이터를 처리하는 동안에도 계속 학습해간다. 신디시스 AI(Synthesis AI), 데이터젠(DataGen), 리얼루션(Reallusion) 등은 AI에 기반해 3D 디지털 인간을 개발하는 대표적인 AI 업체들이다.

마지막으로 가상인간은 음성 봇과 같이 사람 목소리를 인식해 말하는 내용을 이해하고, 자연어 처리를 통해 응답한다. 언어뿐 아니라 의사소통에 필요한 비언어적 표현도 인식하고 활용할 수 있어야 한다. 상대방의 요구, 감정, 태도를 언어로 추출하고, 자동화된 대화에 감정과 설득 요소를 추가하는 기술이 필요하다. 이를 통해 인간과 정서적 연결을 형성할 수 있다.

실제와 가상 사이 호감 vs 혐오

가상인간은 인간에 가깝지만 여전히 ‘불쾌한 골짜기’를 넘어서지 못하고 있다. 불쾌한 골짜기란 인간형 로봇이나 컴퓨터로 만든 가상의 캐릭터를 마주했을 때 그것이 인간과 많이 닮을수록 호감을 느끼게 되지만 일정 수준에 다다르면 오히려 불쾌감을 안겨준다는 이론이다. 인간의 외모와 유사함을 추구하면서도 완벽하지만은 않은 불일치에서 뭔가 섬뜩하거나 불안한 느낌을 경험하게 된다는 뜻이다. 가상인간을 만들 때 감정과 생각의 복잡성을 묘사하는 이마, 눈, 입 등의 요소에 더 세밀히 주의를 기울여야 하는 이유다.

가상현실, 가상인간 등 가상세계가 갈수록 확장되면서 이에 대한 윤리적 가이드라인 부재가 문제로 떠오르고 있다. 가상인간 제작에 외모지상주의와 성상품화, 디지털 블랙페이스(디지털 세계에서 행해질 수 있는 인종차별) 등 차별적 요소가 개입할 가능성이 매우 크기 때문이다. 200명 넘는 가상 인플루언서에게 SNS 플랫폼을 제공하는 메타(옛 페이스북)는 이러한 위험성을 인정하고 있다. 메타는 기업 블로그를 통해 “가상인간 같은 합성 미디어는 문화적 전유와 표현의 자유 등에 관한 문제를 일으킬 우려가 있다”며 “새로운 기술의 잠재적 위험을 피하도록 파트너사들과 함께 가상 인플루언서의 활동에 대한 윤리적 프레임워크를 개발하고 있다”고 전했다.

주간동아 8월 12일~8월 18일 자 이종림 과학전문기자 기사 정리