2017-03-05 Перформанс Погружение с Таней Просто


ГЦСИ, 5 марта, Екатеринбург

https://www.youtube.com/watch?v=hwFYmCADlNc

https://vk.com/t_prosto_ekb

Звук в Pogr Sampler

Генерация звука осуществлялась в программе PogrSampler, написанной для этого перформанса, на openFrameworks. Программа улавливала нажатия педали на пульте APC40 (как миди устройство, с помощью аддона ofxMidi), и записывала фрагмент звука для последущей обработки.

Было 6 каналов звука. Для каждого канала программа хранила презеты обработки, и каждый записанный звук попадал на одну из этих дорожек.

Переключение презетов осуществлялось с помощью пульта Novation Launchpad Mini (8×8 квадратны кнопок в центре, и еще по периметру круглые кнопки). Имеется режим автоперехода – когда после записи звука программа переходит на следующий канал/презет.

Визуально презеты располагались по 6 штук в ряд:

1 2 3 4 5 6

7 8 9 10 11 12



41 42 43 44 45 46 47 48

Имелось 2 страницы презетов, по 6×8 странице – то есть 96 штук.

В одном стихе выделалось 3 слова.

Было три режима обработки звука:
  • Delay – просто повтор с заданной задержкой (в битах, темп был фиксированный 120 BPM)
  • Grain – гранулярный повтор (задавалась задержка повторов, начала и длительность воспроизводимого кусочка сэмпла, длительность гранулы и общая скорость воспроизведения сэмпла). Гранулярный синтез был сделан с прямоугольными гранулами, поэтому он звучал довольно резко.
  • Spectr – спектральный повтор (задавалась скорость воспроизведения, а также начало и длительность фрагмента воспроизводимого сэмпла). Реализация была сделана с помощью алгоритма фазового вокодера, то есть с помощью спектральной обработки, а именно, оконного преобразования Фурье. В фазовом вокодере где-то закралась ошибка, и он также звучал достаточно резко.

Громкость и панорама имели LFO, с задаваемым размахом и длиной цикла (в битах 120 BPM). Типы LFO:
  • const – без изменений
  • rand – случайные значения
  • up, down – вверх и вниз
  • sin, -sin, cos, -cos – гармонические колебания.

Значение LFO генерировалось в момент запуска нового сэмпла (кроме спектрального – в нем только при инициализации).

Доработки: сделать спектральный повтор с возможностью перезапуска звука. Добавить новые генераторы – гранулярный синтез волны, спектральную обработку всего сэмпла как в программе Mammut, задание огибающей громкости и фильтра для имитации реальных звуков типа биения сердца.

Также, программа высылала по OSC в Ableton данные о громкости, трех sends (реверберация, делэй, делей с фленжером), а также 8 параметров звуковой обработки каждого трека.

В проекте PogrSampler использовались следующие аддоны openFrameworks:
  • ofxAbletonLive – для связи с Ableton (аддон был расширен)
  • ofxFft – для реализации фазового вокодера
  • ofxKuTextGui – наш аддон для текстового интерфейса
  • ofxMidi – для работы с MIDI-устройствами (пульты APC40 и LPD8)
  • ofxOsc – требуется для ofxAbletonLive

Звук в Ableton

Ableton Live 9 Suite использовался как обработчик звука – он обрабатывал микрофон, посылал звук в PogrSampler, принимал звуки и обрабатывал их (см. ниже про виртуальные звуковые каналы).

В настройках проекта Ableton использовалось три канала SENDS:
  • реверберация
  • повторы (delay)
  • повторы с фазером (delay+phaser) для “разгона”

На каждом из 6 каналов стоял 3-канальный эквалайзер и эффект Sweep+Reverb. Их параметры упралялись 8-ю ручками управления на APC40.

Для обмена данными с PogrSampler в Ableton было необходимо установить плагин LiveOSC в Ableton.

Виртуальные звуковые каналы

Для обмена звуком между oF и Ableton – требовалось 18 каналов. Ниже рассказывается, как это было сделано на OSX.
  • 1,2 Внешняя звуковая карта Scarlett – 2 входа/2 выхода. Вход с микрофона FocusRite 2×2 Scarlett обрабатывался Ableton и выдавался в выход, а также в каналы 3,4.
  • 3,4 Результат предобработки микрофона в Ableton
  • 5,6 Первый трек
  • 7,8
  • 9,10
  • 11,12
  • 13,14
  • 15,16
  • 17,18

Для организации этого купил сначала LoopBack 99$, OSX – но оказалось, что дает треск при большом числе каналов и при работе с Pogr.

В итоге, использовал бесплатную программу SoundFlower.

На звуковой карте было создано агрегатное звуковое устройство из Scarlett и Sound Flower 64 канала, с помощью встроенной в OSX программы Audio MIDI Setup.

Особенности:
  • По какой-то причине, каналы 3,4 не работали – поэтому в PogrSampler посылался сырой звук микрофона (канал 1).
  • После кажого подключения внешней звуковой карты FocusRite приходилось выключать и снова включать устройства в настройках агрегатного звукового устройства.

Визуализация

Использовалось два проектора – подвешенный к потолку для освещения стены, и установленный на полу для освещения ткани натягиваемой во второй части перформанса (белая мелкая стретч-сетка 6×6 метров, сшитая из 1.5-метровых полос).

Для надежности каждый проектор управлялся отдельным компьютером.

Программы, работающие на компьютере для основного проектора:
  • KuStar – получение данных с Kinect 2, вычислеие маски человека, отправка маски на KuPlay
  • Kuplay – рендеринг данных в виде “дыма” от маски человека на сцене
  • Transcode – захват звука с микрофона (встроенного) и генерация изображения транскодинга
  • VDMX – сбор видео каналов с KuPlay и Transcode, воспроизведение предзаготовленны наложение эффектов, вывод на проектор. Управление осуществлялось пультом Akai LPD8.

На компьютере, выдающем изображение на ткань, использовался VDMX, который выдавал изображение заранее подготовленного видео.

Особенности: во время выступления KuStar несколько раз прекратил работу (перестали приходить данные с кинекта). Поэтому, приходилось его перезагружать. Связываю это с тем, что KuStar и VDMX требовали для работы много ресурсов видеокарты, которых не хватало.

Подготовка футажей

Для снижения нагрузки на рендер и упрощения управления, я отсчитал около часа футажей по 2-3 минуты для главного проектора. (А 15 минутное видео для ткани – использовалось из Погружения 2014 года.)

Для футажей использовалась программа Kusmos – это 4-канальный видеосинтезатор, который мы разработали в 2015 году для визуализации премьеры концерта группы СБПЧ “Здесь и сейчас”.

Синтезатор работает с тремя типами объектов:
  • 3D-модели в виде OBJ-файла
  • генератор движущегося облака точек (для имитации звезд, полета через космическое прогстранство)
  • данные с кинект

Синтезатор позволяет независимо управлять четырьмя объектами, путем настройки следующих параметров:
  • перемещать, вращать, менять размер объектов,
  • настраивать режим показа (точки, линии, треугольники),
  • менять число показываемых элементов (для прореживания с возникновением “дырок”),
  • выбирать текстуру, сдвигать текстурные координаты,
  • накладывать шум Перлина (по трем координатам, либо радиальный от центра объекта).

Управление осуществляется через OSC (обычно из программы VDMX)

Результат посылается по 4-м каналам Syphon (обычно в VDMX, где он микшируется и посылается на проектор или экран).

Данные с кинектов приходят по сети, до 4-х кинектов (кинекты расположены у сцены, а компьютер-рендер за сценой, поэтому кинекты подключались к компьютерам, которые передавали данные по сети в рендер)

DENIS PEREVALOV, EKATERINBURG, RUSSIA.