В ходе работы над серией статей, посвящённых приложению Paint 3D, Дидактор занялся целью показать, как можно создавать собственные трёхмерные изображения. Предыдущая статья была посвящена в основном использованию комбинации 2D и 3D-объектов для созданию собственных трёхмерных изображений. В данном случае мы ограничены средствами, имеющимися шаблонами. Между тем, уже несколько лет развиваются технологии, занимающиеся созданием высококачественных трёхмерных моделей людей на основе фотографий.
Ещё в 2020 году группа разработчиков представила свой инструмент под названием PIFuHD, который работает на основе нейронной сети. Он генерирует достаточно точную в деталях прорисованную трёхмерную модель человека вместе с одеждой.
Как видим, PIFuHD может использоваться в проектах технологий виртуальной реальности. PIFuHD расшифровывается как функция выравнивания пикселей для 3D-оцифровки человека с высоким разрешением (англ. Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization). Технология сначала переводит изображение в переднюю и заднюю перспективу, а затем выдает трёхмерную фигуру в высоком разрешении.
Нейронная сеть учитывает глобальный и локальный контексты изображения, что позволяет достичь высокой точности конечной 3D-модели. PIFuHD фиксирует такие детали, как пальцы, черты лица и морщины на одежде человека. Предыдущие подходы не были способны на такую детализацию.
Вы можете убедиться по данной подборке. Эксперименту подверглись следующие фигуры:
Ниже представлен результат:
Абсолютное большинство трёхмерных изображений были воспроизведены до мельчайших деталей. За исключением мушкетёра, у которого плащ оказался лишь на одном боку и красноармейца с фактически потерянной винтовкой.
Технология PIFuHD превращает в 3D объекты только фотографии людей. Мои попытки конвертировать рисованные фигуры, мультяшных героев даже самого высокого качества или портретное фото не увенчались успехом.
Для работы необходимы фотографии хорошего качества без фона или на белом фоне в полный рост.
В результате обработки мы получаем трёхмерную фигуру в формате .OBJ.
Если вы хотите в дальнейшем обработать объект в программе Paint 3D, то его необходимо преобразовать в формат GLB в одном из конверторов. К примеру, в бесплатном онлайн конверторе AnyConv, имеющий русскоязычную версию.
Дальнейшая обработка объектов возможна в специальных программах для создания трёхмерной компьютерной графики. Дидактор планирует коснуться таких приложений позже.
К обработке полученных трёхмерных изображений в Paint 3D следует относиться крайне осторожно. Легче всего воспользоваться инструментом изменения цвета.
Вы можете раскрасить фигуру, используя инструмент Кисти и Наклейки. В таком случае постарайтесь максимально увеличить фигуру, чтобы добиться наилучшего эффекта.
Образовательные возможности использования
Технология PIFuHD может помочь созданию новых трёхмерных объектов для их распечатки на 3D принтерах.
Вы можете создать галерею таких объектов для реконструкции каких-то событий, в том числе исторических.