Как Samsung привнес AR Emojis в жизнь в Galaxy S9

Samsung задействовал голливудский талант, чтобы воплотить в жизнь AR Emoji

AR Emoji, встроенный в приложение камеры Samsung Galaxy S9, позволяет использовать фронтальную камеру для создания и отправки цифровых мультипликационных аватаров. AR Emoji, похожий на концепцию Apple Animojis, фиксирует ваши движения лица и отражает их в виде персонажа или животного. Но с помощью функции «Create My Emoji» вы также можете создать себя, просто сделав селфи, что позволит вам выбрать оттенок кожи, одежду, прическу, цвет волос и очки.

С помощью AR Emoji Samsung решила решить то, что считает проблемой — найти способ заменить существующие смайлики интерактивными. Компания хотела сделать это простым способом, предоставляя пользователям нужные инструменты для захвата эмоций, но при этом позволяя им легко обмениваться результатами на различных платформах обмена сообщениями.

Итак, как Samsung создала свой AR Emojis? Начнем с того, что сразу обратились к экспертам по 3D-анимации, которые воплотили в жизнь некоторых самых популярных персонажей Голливуда.

С большого экрана на камеру смартфона

Для реализации новой функции Samsung сотрудничал с Loom.ai — стартапом из Сан-Франциско, специализирующимся на 3D-анимации. Программное обеспечение компании позволяет пользователям создавать полностью персонализированные и настраиваемые трехмерные аватары из одной фотографии без специального оборудования или датчиков глубины. Благодаря партнерству и комплекту разработки программного обеспечения (SDK) Samsung объединила технологию Loom.ai с технологией камеры S9 (дополненная). реальность и распознавание лиц), чтобы сделать возможным AR Emoji.

Samsung хочет найти способ заменить существующие смайлики интерактивными.

Концепция Loom.ai началась с фильмов — мультфильмов и супергероев, если быть точным. Ранее работавшие в популярных компаниях по созданию визуальных эффектов, таких как DreamWorks и Lucasfilm, основатели Loom.ai — Махеш Рамасубраманян и Киран Бхат — помогли вывести на большой экран известных персонажей, таких как Шрек и Халк.

Чтобы придать индивидуальность этим персонажам, они использовали технологию захвата производительности, чтобы включить актеров, которые их играли, — записывать движения актера, а не его визуальный облик. Но увидев, как зрители кино отреагировали на свои 3D-творения, Рамасубраманян и Бхат решили развить эту технологию дальше — за пределами Голливуда — запустив Loom.ai, которая специализируется на смартфонах.

«Люди мгновенно реагируют на то, что эти персонажи оживают, когда им движут актеры-люди», — сказал Digital Trends Рамасубраманян, который является генеральным директором и соучредителем. «Мы запустили Loom.ai с целью, чтобы мы могли найти простой способ для каждого человека увидеть себя в 3D, и для этого нам нужно было создать новую технологию».

AR Emoji

Для создания художественных фильмов для создания трехмерного аватара требуется огромное количество оборудования — дорогостоящее аппаратное и программное обеспечение, грим и настройки студии. Но Loom.ai нашел способ упростить процесс захвата функций человека без обычных инструментов; вместо этого его запатентованная технология использует одну фотографию и глубокое обучение для анализа изображения. Если на фотографии нет выражений лица, алгоритм глубокого обучения просматривает пиксели и автоматически создает лицо, которое инкапсулирует правильное движение мышц.

«Когда началось сотрудничество Samsung, у нас была возможность внедрить эту сложную технологию на устройстве, которое, по нашему мнению, уже само по себе является довольно сложной инженерной задачей», — сказал Бхат, технический директор и соучредитель Loom.ai, в интервью Digital Trends. «Это большой технологический скачок, заключающийся в возможности извлечь некоторые из этих идей и чаяний с большого экрана и перенести их на мобильные устройства».

Для обеспечения AR Emoji Samsung заручился поддержкой Loom.ai — стартапа из Сан-Франциско, специализирующегося на 3D-анимации.

Внедрение этой технологии в аппаратное обеспечение Galaxy S9 потребовало от Loom.ai реструктуризации своих алгоритмов для запуска на устройстве. Но Loom.ai не создал AR Emoji в одиночку: и Рамасубраманян, и Бхат приписывают Samsung огромные усилия по оптимизации программного обеспечения. Создавая SDK для интеграции в смартфоны, основатели Loom.ai считают, что Samsung может сделать каркас намного богаче, добавив в будущем больше контента и настраиваемых опций.

Как Galaxy S9 создает цифровой аватар

Итак, как именно S9 (и S9 Plus) создает AR Emojis? В то время как Samsung не раскрыл свой секретный соус, он дал Digital Trends заглянуть под капот.

Используя технологию Loom.ai, камера телефона захватывает и обрабатывает 2D-изображения в 3D. Для дальнейшего улучшения S9 использует дополнительное программное обеспечение — отслеживание лица и технологию Samsung Blend Shape — для обеспечения выражения лица для AR Emoji.

После этого у вас остается мультяшная версия себя, которая может воспроизводить 18 различных выражений, которые Samsung планирует постепенно расширять до 54, — от радости и удовольствия до горя и гнева. Все данные также локальны для устройства и не хранятся где-либо еще.

Работая вместе, технология слежения за лицом отслеживает более 100 черт лица в режиме реального времени (например, подмигивание или улыбка), чтобы запечатлеть отдельные эмоции, в то время как Blend Shape помогает доставлять их в более широком диапазоне — что позволяет сочетать выражения на основе 75 основных человеческих черт лица , Samsung говорит, что для Blend Shape она проводила не менее 100 тестов в неделю в своих лабораториях, чтобы убедиться, что имеется достаточно данных, которые соблазнят ее пользователей. (Blend Shape также используется для создания своих Emojis Disney AR, таких как Микки и Минни Маус.)

В нашем собственном тесте AR Emoji большинство из нас чувствовало, что наши персонажи выглядят крайне неточно. Один писатель чувствовал, что не хватает доступных оттенков кожи, без темных оттенков на выбор. Другие чувствовали, что их AR Emoji не похожи на них, что делает редактирование аватара скорее рутинной работой, чем приятной задачей.

Согласно Loom.ai, создание точного AR Emoji в значительной степени зависит от способа съемки селфи. Пользователи должны делать фотографии так же, как они делали фотографии на паспорт. «Вам нужно даже освещение, ничего не закрывающее ваше лицо и нейтральное выражение, чтобы мы могли добавить выражения позже», — объяснил Рамасубраманян. «Речь идет о том, чтобы люди немного привыкли к этому, а затем увидели возможности его оживления и использования».

Рамасубраманян также сказал, что пользователи должны относиться к нему так же, как и к любым селфи — это означает, что вы можете делать тонны фотографий, пока не будете удовлетворены фотографией. Поскольку AR Emoji позволяет создавать несколько аватаров, вы можете сравнить их, чтобы найти тот, который вам больше нравится. Каждый созданный вами файл также сохраняется на вашем телефоне, так что вы можете переключать используемую версию в зависимости от вашего настроения.

Последнее обновление AR Emoji включает в себя дополнительные прически, головные уборы, такие как хиджаб, и другие варианты. В настоящее время обновление распространяется на разблокированные версии Samsung Galaxy S9 и S9 Plus в Корее, Китае и Европе. Европейские операторские устройства и разблокированные устройства в США должны иметь обновление, доступное для загрузки на этой неделе. Обновление для устройств-носителей в США будет выпущено в ближайшие недели. Samsung заявляет, что AR Emoji продолжит развиваться в будущем, но на данный момент держится на точных деталях.

Ссылка на основную публикацию