Пара нод заменяют код \\ Исследование возможностей нодового подхода для улучшения взаимодействия с ИИ

Предисловие

Это статья ученицы курса «Houdini без боли» Натальи Ребровой. Она написала ее вдохновившись нодовой логикой и возможностями Houdini, которые раскрыл Алексей Солодовников на своем курсе.

Знания которые мы получаем дают нам не только визуальные результаты, но иногда способны помочь раскрыть нечто большее.

Статья написана понятным, но глубоко научным языком с важными отсылками и цитированиями. На вдумчивое прочтение уйдет не больше 10 минут, а полезные размышления останутся с вами навсегда.

За материал огромный респект Наталье Ребровой!

Введение

Эта статья является результатом размышлений над статьей Якоба Нильсена, в которой он обращается к глубоко укоренившимся проблемам юзабилити, связанные с генеративными инструментами ИИ.

Я решила рассмотреть возможные проблемы и предложить потенциальное решение. Вдохновением для этого решения послужило мое недавнее более глубокое погружение в Houdini и Touchdesigner и увлечение структурой нодового подхода в целом.

Проблема

В своей статье Д. Нильсен рассуждает о новой парадигме пользовательских интерфейсов для систем на основе ИИ, которая смещается в сторону взаимодействия на основе “намерений пользователя”. Этот переход от традиционного взаимодействия на основе команд к новой модели может приводить к проблематичным ситуациям, когда необходимо использовать промпты и описания вместо предоставления набора определенных команд с ожидаемыми результатами. Отсутствие ясности в понимании ИИ и соблазнительная идея о том, что машина может «понимать то, что вы подразумеваете», являются частью проблемы. Судя по количеству статей, кажется, что пользователи часто воспринимают ответы ИИ так, как будто машина действительно их понимает, и забывают, что языковые модели ИИ лишены подлинного понимания; они работают на основе статистических закономерностей, что может привести к неправильной интерпретации промптов пользователя.

Проблемы с обработкой неоднозначных запросов и способность ИИ генерировать ответы, которые могут не совпадать с предполагаемым значением для пользователя, могут подорвать доверие пользователей к системам ИИ. Отсутствие доверия может помешать неопытным пользователям в полной мере использовать ИИ, или использовать его возможности не в полной мере.

Предубеждения в языковых моделях ИИ могут усиливаться при отсутствии четких и понятных интерфейсов. Прозрачные и удобные интерфейсы могут помочь более эффективно выявлять и устранять предубеждения, а также помогать пользователям преодолевать пробелы в понимании как работает ИИ, поскольку они часто пытаются понять, как машина пришла к тому или иному ответу. Повышение понимания пользователей, контроля и уверенности в их взаимодействии с моделями ИИ также имеет решающее значение.

Однако, на мой взгляд, самая большая проблема юзабилити ИИ — это отсутствие пошагового контроля и исправления ошибок.

Процедурное решение

Решение, которое я хочу предложить, может показаться интуитивно понятным и, вероятно, уже рассматривается как потенциальное. Я считаю, что основанный на нодвом подходе (процедурный) графический интерфейс для взаимодействия с ИИ может стать ценным направлением в разработке пользовательского интерфейса в системах ИИ. Вдохновением для этого подхода послужила парадигма процедурного программирования, которая, в свою очередь, является производной от императивного программирования, использующего операторы для изменения состояния программы. Подобно тому, как императивное программирование фокусируется на пошаговом описании того, как работает программа, процедурный подход позволяет пользователям взаимодействовать с моделями ИИ через отдельные ноды, представляющие определенные части промптов.

Prisms, новаторское программное обеспечение на основе нод, появилось еще в 1987 году. Основная концепция заключается в том, что пользователи могут вернуться к каждой ноде в любое время и внести изменения без потери общего прогресса. Проводя аналогию с деструктивным моделированием, где текущий подход ИИ требует от пользователей начинать процесс заново для внесения изменений, подход на основе нод предоставляет пользователям возможность изменять каждый шаг по отдельности. Основная проблема в данное время заключается в том, чтобы эффективно разбить предложение-промпт на логические части.

Для успешной разработки графического интерфейса на нодовой основе, крайне важно понять, как работают модели ИИ, и определить потенциальные препятствия:

Создание изображений с помощью ИИ. Изображения, созданные с помощью ИИ, часто основаны на математических репрезентациях, таких как значения пикселей и векторы. Модели ИИ, генерирующие изображения, не работают напрямую с символическими представлениями или языком, как это делают люди. Вместо этого они воссоздают шаблоны и функции из данных на которых они обучаются для создания новых изображений.

Языковые модели ИИ (например, GPT). Опираясь на статистические закономерности, извлеченные из обширных наборов данных, языковые модели ИИ генерируют текст, который может казаться метафорическим. Однако важно признать, что им не хватает подлинного понимания значений слов. Любые очевидные метафорические корреляции являются результатом статистических ассоциаций, извлеченных из обучающих данных, а не истинного понимания или символического представления.

Эти ограничения подразумевают, что в настоящее время мы можем иметь потенциальный контроль только над перечислением вариантов и возможными пересечениями среди них. Разбить промпт на логические части, а затем объединить их в финальный результат, может быть непросто. Предварительная обработка, токенизация и культурные особенности могут различаться в зависимости от языка, что усложняет реализацию единого графического интерфейса на нодовой основе. Различные языки могут выражать понятия и идеи по-разному, что требует тщательного рассмотрения при разработке интерфейса.

Генераторы изображений на основе ИИ и их интерфейсы

Сегодня большинство генераторов изображений с искусственным интеллектом обеспечивают простой ввод текста. Очень часто интерфейс такой программы предсталвяет одно текстовое поле, сопровождаемое кнопкой «Создать». Хотя некоторые предлагают дополнительные кнопки изменения стиля, варианты часто ограничены, а более сложные настройки, такие как включение «исключения-слов» или определенных художественных стилей, могут внести больше путаницы, а не дополнительные возможности. Эта ограниченная гибкость иногда может привести к несоотвествию между тем, что пользователи намереваются получить, и тем, что в конечном итоге генерирует ИИ. Примеры*: Dall-E, Craiyon*

Нынешняя парадигма взаимодействия при создании изображений ИИ может быть описана как принципиально простая, но лишенная детализации и контроля со стороны пользователя. Пользователи обычно вводят желаемый промпт в текстовое поле, которое не предоставляет никаких возможностей для точной настройки определенных элементов ввода. В результате может показаться, что это одностороннее общение, когда ИИ дает ответ на основе ввода, без дальнейшего взаимодействия или понимания намерений пользователя.

Популярные инструменты визуального программирования

Некоторые популярные программы используют подход на нодовой основе, предоставляя пользователям интуитивно понятное и визуальное представление сложных процессов. Среди этих инструментов — VVVV, Houdini, TouchDesigner, Cables.gl, Vizor Patches, Lichen, MaxMSP и UE5 Blueprints. В этих инструментах визуальный интерфейс действует как абстракция всего на один уровень выше текстового кода, позволяя пользователям взаимодействовать с узлами, представляющими определенные функции или элементы. Примеры: Houdini, Touchdesigner

Для простоты рассмотрим применение предложенного процедурного подхода к генераторам статических изображений на языках романской группы. Стоит отметить, что ту же концепцию можно масштабировать для видео, генерации 3D и с использованием других языков.

Пример

Для иллюстрации подобного подхода я рассмотрю пример из midjourney. Промпт, который мы будем использовать, выглядит следующим образом:

cactus in mexican sombrero hat plays maracas. black and white engraving style on a black background :: --q 1 --s 750 --v 5.1

Бросается в глаза тот факт, что отсутствует один из основных элементов промпта — маракасы. Вместо этого ИИ заменил его гитарой. Хотя маракасы являются музыкальным инструментом, тесно связанным с мексиканской культурой, они, возможно, не так популярны, как гитары, которые имеют важное значение в цепочке означающих, связанных с мексиканскими музыкальными инструментами. Хотя ИИ может легко имитировать сложные живописные стили, он все же иногда делает довольно глупые ошибки из-за отсутствия истинного понимания.

Нодовый подход

Подобный нодовый подход может позаимствовать визуальную репрезентацию у такой программы, как Houdini:

Пошаговая структура отражает части предложения-промпта, а порядок слов влияет на порядок нод. Каждая иногда соответствует потенциальной части подсказки, такой как «cactus», «plays», «engraving style» и т. д. Различные части речи и группы имеют разные формы нод для простоты дифференциации и облегченной навигации.

Пользователи могут взаимодействовать с каждой нодой для доступа к специальному интерфейсу. Давая возможность регенерировать отдельные части промта, позволит пользователям исправить любые несоответствия между текстовым описанием и желаемым результатом. Ноды, обрабатывающие прилагательные и параметры рендеринга, такие как цвет и стиль, могут предлагать дополнительные параметры пользовательского интерфейса для более простой и интуитивной настройки цветов, освещения, контраста и т. д.

Облегчить взаимодействия начинающих пользователей можно с помощью краткого списка предлагаемых промптов, которые бы генерировались контекстуально, в зависимости от типа ноды. Список предлагаемых промптов-подсказок можно обновлять, помогая пользователям открывать новые возможности. Кроме того, можно было бы предоставить возможность добавлять дополнительные ноды в конце или между существующими узлами, обеспечивая дальнейшую настройку.

Преимущества процедурного подхода

Предлагаемый нодовый подход может устранить существующие ограничения работы с генеративными инструментами на основе ИИ, предоставляя пользователям более удобный и интерактивный интерфейс. Разбивая промпт на отдельные ноды, пользователи получают детальный контроль над каждой отдельной частью, что позволяет выполнять точную настройку для достижения желаемых результатов.

• Визуальное представление: ноды обеспечивают интуитивно понятное и визуальное представление различных компонентов промптов, облегчая пользователям понимание и изменение вводимых данных.
• Тщательный контроль: разделение промпта на отдельные ноды позволяет пользователям настраивать каждый элемент независимо друг от друга, обеспечивая контроль над результатом, предоставляемыми ИИ.
• Прозрачность и понимание: графический интерфейс на нодовой осное может обеспечить понимание того, как ИИ обрабатывает промпт, отображая промежуточные шаги и преобразования, способствуя лучшему пониманию и формированию доверию пользователя.
• Исправление ошибок: пользователи могут выявлять и исправлять ошибки или неясности в своих поромтах на детальном уровне, что снижает вероятность неправильной интерпретации модели ИИ.
• Совместная работа: нодовый подход облегчает совместное взаимодействие, позволяя нескольким пользователям вносить свой вклад в процесс создания сложных промптов и итеративно уточнять входные данные.
• Возможность оставлять отзывы: пользователи могут сообщать о любых проблемах с конкретными частями промпта, где ИИ совершает ошибки, и оставлять отзывы, способствуя улучшению будущих результатов ИИ.

Заключение

Предлагаемый на нодовом подходе (процедурный) графический интерфейс предлагает многообещающее направление для улучшения пользовательских интерфейсов в системах ИИ. Черпая вдохновение из успешных инструментов визуального программирования и интегрируя их с генераторами изображений ИИ, мы можем предоставить пользователям более интерактивный и удобный интерфейс. При тщательном рассмотрении и правильном проектировании такой интерфейс может изменить то, как мы взаимодействуем с текстовыми моделями ИИ, и проложить путь к более плавному и творческому взаимодействию между людьми и машинами.

Статья была предоставлена специально для школы «Вольница», автор статьи NATALIA REBROVA

Опытный специалист UI/UX Designer с более чем 14-летним опытом работы, посвятивший себя созданию увлекательных игровых взаимодействий в различных жанрах и платформах.

Instagram - natalia_a_rebrova

Оригинальная версия