V2EX / 2026-10-21

[分享创造] [开源] 从生图到骨骼动画全自动：用 Blender 合成数据微调 DINOv2，把视频动作还原到非人形 3D 模型上

从粗糙的 Astra 建模踩坑开始，我就一直在琢磨：到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来？ 一路从 OpenAI 产出概念效果图，到 Tripo3D 生成 3D 模型，再到非人形怪物的自动绑骨蒙皮；更进一步，用 MiniMax H3 生成想要的动作视频，并基于 Meta 的 DINOv2 训练专属小模型来识别骨骼与关节位置，最终把视频动作还原到 3D 骨骼上（这里必须感谢 @CanItCode ，核心思路正是从他的视频中学到的），才终于跑通并达到了视频里这种勉强可用的效果。 核心实现思路 模型生成 ：通过 Tripo3D 生成基础 3D 模型。 自动绑骨 ：使用 TokenRig 完成非人形结构的自动绑骨与蒙皮。 **合成训练集(imoportant)**：在 Blender 中采用双视角与随机姿势，自动摆出并渲染默认的 3,000 个动作样本。 训练视觉小模型 ：基于 DINOv2 进行微调训练，输入渲染图片与对应的关节坐标等标注信息。 生成动作参考 ：使用 MiniMax H3 生成目标模型的动作视频。 逐帧特征提取 ：用训练好的小模型逐帧推理视频，提取关节坐