티스토리 뷰
제작하기 쉬운 비디오는 별처럼 춤을 보여줍니다.
프로 발레리나처럼 춤을 추거나 랩퍼처럼 몸을 움직이고 싶습니까? 새로운 기계 학습 기술은 간단한 과정으로 한 사람의 움직임을 다른 사람에게 전달할 수 있습니다.한 사람의 움직임을 다른 사람의 움직임에 매핑하면 영화 제작자, 애니메이터 및 게임 디자이너가 행동을 만드는 방식이 바뀌 었습니다. 이 기술을 사용하면 한 사람이 다른 사람처럼 춤을 추거나 달리거나 쏘는 것처럼 보입니다. 이 기술은 다양한 센서와 카메라를 사용하여 움직임을 모니터링하여 다른 사람의 포즈에 대한 3D 사진을 만드는 기능을 기반으로합니다. 그러나 프로세스는 일반적으로 비용이 많이 들고 시간이 많이 걸립니다. 따라서 단일 카메라에서 가져온 2D 비디오를 사용하여 동일한 트릭을 수행하는 기술은 매우 혁신적입니다. 버클리 캘리포니아 대학의 캐롤라인 찬과 동료들은 단일 카메라의 2D 비디오를 기반으로 한 "나처럼"모션 전송 기술을 고안했습니다. 이 기술을 통해 전문 댄서의 공연을 비교적 쉽게 아마추어로 옮길 수 있습니다. 찬과 초의 새로운 방법은 간단합니다. 그들은 두 개의 비디오로 시작합니다. 하나는 전달 될 개인의 움직임, 즉 출처를 보여줍니다. 다른 하나는 목표이며, 그 움직임을 조정할 개인을 보여줍니다. 찬과 초는“원인과 다른 사람의 비디오를 제공하는 것이 목표 인 사람과 동일한 동작을하는 대상인의 새 비디오를 생성하는 것입니다. 그들의 접근 방식은이 프레임을 수행하는 것입니다. 이 프레임의 포즈를 대상 비디오에 매핑하기 위해 소스 비디오의 프레임으로 시작합니다. "따라서 우리의 목표는 소스와 대상 [프레임] 세트 사이의 이미지 간 변환을 발견하는 것입니다." 이를 수행하는 한 가지 방법은 광범위한 움직임을 수행하는 대상 개인을 비디오로 만들어 가능한 모든 포즈의 데이터베이스를 만드는 것입니다. 그런 다음 소스 포즈와 일치하는 대상 포즈를 선택해야합니다. 그러나 이것은 비현실적입니다. 찬과 초는“[대상과 소스] 피사체가 모두 동일한 루틴을 수행하더라도 신체 모양과 각 피사체에 고유 한 문체의 차이로 인해 신체-포커스 대응 프레임이 정확히 일치하지는 않습니다.따라서 팀은 중간 단계와 관련된 다른 접근 방식을 취합니다. 그들은 일련의 움직임을 만드는 대상 개인을 비디오로 시작한 다음 간단한 막대기 그림에 매핑합니다.이 막대기는 몸의 위치를 인코딩하지만 외관은 인코딩하지 않습니다. 그러면 각 프레임이 스틱 피겨 포즈와 연관되는 데이터베이스가 생성됩니다. 그런 다음 찬과 초는이 데이터베이스를 사용하여 생성 적 대적 네트워크라고하는 일종의 머신 비전 시스템을 훈련시켜이 작업을 역으로 수행하여 특정 스틱 피겨 포즈가 주어지면 대상자의 이미지를 만듭니다. 이것은 소스의 모션을 대상으로 전송하는 데 핵심적인 것으로 밝혀졌습니다. 소스의 바디 포즈를 스틱 피겨 포즈로 변환 한 후이를 생성 적대적 네트워크에 공급하여 동일한 포즈로 대상의 이미지를 생성하는 것은 비교적 간단한 프로세스입니다. 생성 적대적 네트워크를 훈련시키기 위해서는 넓은 범위의 움직임을 수행하는 대상 개인에 대해 약 20 분의 초당 120 프레임 비디오가 필요합니다. 이런 종류의 비디오는 많은 최신 스마트 폰으로 촬영할 수 있습니다. 찬과 초는“우리의 포즈 표현은 옷에 대한 정보를 인코딩하지 않기 때문에 대상 피사체가 주름을 최소화하면서 타이트한 옷을 입게했습니다. 대조적으로, 연구원들은 포즈 감지 만하면되기 때문에 소스의 동일한 양의 비디오가 필요하지 않습니다. "무용을하는 피험자의 많은 고품질 비디오가 온라인상에서 풍부합니다." 결과적인 모션 전송 비디오를보다 사실적으로 만들기 위해 찬과 초는 두 가지 추가 작업을 추가합니다. 그것들은 그들이 만든 각 프레임이 작은 방식으로 이전 프레임과 다른지 확인합니다. 결과 비디오가 매끄 럽습니다. 또한 포즈가 변경 될 때 대상 사람의 얼굴에 대한 사실적인 이미지를 생성하기 위해 또 다른 생성 적대적 네트워크를 훈련시킵니다. 이것은 비디오의 사실감을 증가시킵니다. 결과는 인상적입니다. 여기에 표시된 비디오에서 다양한 예제 를 볼 수 있습니다 . 그것은 전문 댄서들의 움직임과 심지어 발레리나가 평범한 사람들에게 옮겨 졌다는 것을 보여줍니다. "우리의 방법은 다양한 입력이 주어지면 매력적인 비디오를 제작할 수 있습니다"라고 찬과 초는 말합니다. 해결해야 할 몇 가지 과제가 있습니다. 한가지 문제점은 스틱 피겨 포즈 생성이 소스와 타겟 사이의 다른 사지 길이를 설명하지 않는다는 것이다. 다른 카메라와 앵글이 특정 포즈를 조작하거나 단축 할 수있는 방법도 허용하지 않습니다. 때로는 피사체가 빠르게 움직이거나 가려져서 시스템이 올바른 자세를 감지하지 못할 수도 있습니다. 인상적인 결과를 감안할 때, 이는 명백히 막을 수없는 문제는 아닙니다. 가까운 시일 내에 다림질 할 수 있습니다. 이제 유일한 질문은이 기술이 어떻게 시장에 출시 될 것인가이다. 소셜 이미지 공유 분야의 광범위한 신생 기업 및 더 많은 기존 플레이어에게 관심을 가질 것입니다.