CAST — еще один метод, чтобы получить 3D-модель из одного изображения

1️⃣ Сегментирует 2D и выделяет из него все объекты.
2️⃣ Строит частичное 3D-представление сцены — облако точек с примерной глубиной и расположением объектов.
3️⃣ Используя диффузионные модели, генерирует для каждого объекта полноценную 3D-модель с детализацией, включая недостающие части.
4️⃣ Выравнивает и размещает объекты в 3D-пространстве так, чтобы соблюдались реальные физические связи — например, здания стоят на земле, а не парят, а объекты не пересекаются.

Результат — 3D-сцена с корректными геометрией и физикой, готовая для использования в CAD. CAST может значительно ускорить и упростить создание точных 3D-моделей для градостроительства. Сами же авторы пишут, что метод можно также применять в робототехнике.

Кода пока нет.