Программа курса «Интерактивные медиа и визуальное программирование»
Преподаватели: Илона Бородина

Курс направлен на формирование понимания принципов работы визуального программирования и ключевых алгоритмов генеративной графики и интерактивных систем, на освоение базовых навыков работы в программной среде Touch Designer.

Особенное внимание в программе курса отводится обзору возможностей интеграции Touch Designer в многосоставные гибкие технологические системы, включающие различные медиумы, аппаратные и программные среды и способы трансляции данных.

Мы будем придумывать и собирать сложные пайплайны, искать и тестировать алгоритмические способы работы с физической, биологической, психической информацией о реальности. Будем генерировать чувствительные цифровые среды, длящиеся сквозь наше внимание.

Результатом курса станет выпускной вечер с презентацией работ.

Программа курса

• Введение. Интерактивные медиа. Гибридные медиа среды. Генеративное в искусстве. Процедурное программирование. Интерфейс программы. Организация проекта. Обзор семейств операторов. Работа с входящим сигналом видеокамеры в режиме реального времени.

• Ключевые понятия и приёмы работы с двухмерной генеративной графикой. Автоматизированное управление параметрами. Работа с Midi-контроллером.

• Мультимодальная обработка информации. Аудиореактивная графика, подходы к работе с аудиосигналом. Аудиоспектр и прямая визуализация звука. Интеграция Touch Designer и Max MSP.

• Работа с проекционным оборудованием. Видеомэппинг. Полиэкранные инсталляции.

• Пространство, движение, проприоцепция. Компьютерное зрение и захват движения. 3D камеры глубины. Биосенсоры и датчики пространства, работа с Arduino. Биообратная связь, нейроинтерфейсы.

• Трёхмерная графика. Особенности работы с 3D геометрией в Touch Designer. Создание трёхмерной сцены. Импорт 3D моделей. Интеграция Touch Designer и Blender.

• Трёхмерная графика. Частицы. Облако точек. Инстансирование (создание копий) геометрических объектов. Анимация параметров ключами.

• Световое оборудование. DMX-протокол.

• Работа с нейросетями в режиме реального времени в интерфейсе Touch Designer.

• Создание кастомных пользовательских интерфейсов. Интеграция с игровыми движками. Сетевая коммуникация и протоколы передачи данных.