https://deepmind.google/discover/blog/generating-audio-for-video/

비디오-오디오 연구는 비디오 픽셀과 텍스트 프롬프트를 사용하여 풍부한 사운드트랙을 생성합니다.

비디오 생성 모델은 놀라운 속도로 발전하고 있지만, 현재 시스템 중 다수는 무음 출력만 생성할 수 있습니다. 생성된 영화를 생생하게 만들기 위한 다음 주요 단계 중 하나는 이러한 무음 비디오의 사운드트랙을 만드는 것입니다.

오늘은 동기화된 시청각 생성을 가능하게 하는 비디오-오디오(V2A) 기술에 대한 진행 상황을 공유합니다. V2A는 비디오 픽셀과 자연어 텍스트 프롬프트를 결합하여 화면 액션에 대한 풍부한 사운드스케이프를 생성합니다.

당사의 V2A 기술은 Veo 와 같은 비디오 생성 모델과 결합하여 비디오의 캐릭터와 톤에 어울리는 극적인 음악, 사실적인 음향 효과 또는 대화가 포함된 장면을 만들 수 있습니다.

또한 보관 자료, 무성 영화 등을 포함한 다양한 기존 영상에 대한 사운드트랙을 생성하여 더욱 다양한 창의적 기회를 열어줍니다.