Игры и смешанная реальность должны создавать для слушателя правдоподобную звуковую среду, в которой персонажи и звуки являются частью разнообразного трёхмерного мира. Для решения этой задачи создан Project Triton, моделирующий распространение звука внутри сцены с учётом её формы и материалов.
Технология автоматически моделирует эффекты пространственного звука, включая окклюзию и реверберацию. Project Triton уникален тем, что точно моделирует реальную волновую физику звука, в том числе дифракцию, и в то же время технология легко масштабируется с настольных компьютеров на мобильные устройства. Технология легко интегрируется в движки Unity и Unreal Engine с помощью плагинов Project Acoustics. Оценить Project Triton уже можно в таких играх, как Gears of War 4, Sea of Thieves и Borderlands 3.
Эффекты распространения звука
- Препятствие. Звук приглушается, когда рассеивается вокруг препятствий.
- Портал. Звук, слышимый сквозь стену со стороны источника (красный цвет), является искажённым. Двери перенаправляют звуки более достоверно.
- Окклюзия. Полное уменьшение громкости из-за геометрии, включающее в себя сложное распространение и дифракцию (дифракционные пути показаны зелёным цветом).
- Реверберация. Слева рядом с источником прямой путь (зелёный цвет) оказывается более громким по сравнению с отраженным звуком (оранжевый цвет), что обеспечивает более высокую чёткость и меньшую реверберацию. Справа за перегородкой прямой путь ослаблен дифракцией, вызывая низкую чёткость и высокую реверберацию, что говорит о том, что источник звука находится в другой комнате.
- Время затухания. Большие комнаты реверберируют дольше.
В повседневной жизни мы воспринимаем множество акустических эффектов, которые являются результатом волнового распространения звука. Они позволяют нам осознавать и ориентироваться в окружении, плавно изменяясь по мере того, как мы и окружающие нас звуки перемещаются по миру. Таким образом, игры и смешанная реальность должны воссоздавать эффекты, чтобы создать естественный звуковой ландшафт.
Project Triton моделирует множество таких важных эффектов, проиллюстрированных выше. Например, «Препятствие» и «Портал» вместе создают правдоподобное распространение звуков вокруг дверных проёмов. Обычно звукорежиссёрам приходится вручную размечать распространение звука, чтобы получить подобные результаты.
Project Triton упрощает задачу и самостоятельно управляет эффектами с учётом геометрии сцены, а также предоставляет дизайнерам новые инструменты для настройки физики в целях повествования. Например, можно уменьшить физическую реверберацию игрового диалога, чтобы сделать его более кинематографичным, либо усилить реверберацию шагов, чтобы сделать пещеру более зловещей. И всё это непосредственно во время игры.
Как это работает?
Project Triton моделирует реальную волновую физику распространения звука в сложных трёхмерных пространствах. Слышимые звуки имеют длину волны от сантиметров до метров, поэтому волновые эффекты необходимо моделировать, чтобы избежать неестественных результатов. Примером может служить «проблема фонарного столба». Тонкий фонарный столб, блокирующий звук от источника к слушателю, может перекрыть столько же, сколько бетонная стена. Мы никогда не слышим этого в реальности, поскольку звуковые волны огибают объекты, как показано на анимации выше.
Это называется дифракцией. Она играет ключевую роль в том, как звук перемещается по углам и через дверные проёмы, рассеивается и заполняет реверберацией различные комнаты. Волновое моделирование очень затратное, поэтому для работы технологии предварительно вычисляется статическая визуальная трёхмерная геометрия. Общий принцип работы аналогичен трассировке света, разве что поддерживаются движущиеся источники. Полученные данные проходят через запатентованный параметрический компрессор, который резко уменьшает размер данных и обеспечивает быстрый поиск и обработку сигналов во время исполнения программы, что позволяет Triton работать даже на мобильных устройствах, таких как Oculus Go.