[分享创造] [开源] 从生图到骨骼动画全自动:用 Blender 合成数据微调 DINOv2,把视频动作还原到非人形 3D 模型上
从粗糙的 Astra 建模踩坑开始,我就一直在琢磨:到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来? 一路从 OpenAI 产出概念效果图,到 Tripo3D 生成 3D 模型,再到非人形怪物的自动绑骨蒙皮;更进一步,用 MiniMax H3 生成想要的动作视频,并基于 Meta 的 DINOv2 训练专属小模型来识别骨骼与关节位置,最终把视频动作还原到 3D 骨骼上(这里必须感谢 @CanItCode ,核心思路正是从他的视频中学到的),才终于跑通并达到了视频里这种勉强可用的效果。 核心实现思路 模型生成 :通过 Tripo3D 生成基础 3D 模型。 自动绑骨 :使用 TokenRig 完成非人形结构的自动绑骨与蒙皮。 **合成训练集(imoportant)**:在 Blender 中采用双视角与随机姿势,自动摆出并渲染默认的 3,000 个动作样本。 训练视觉小模型 :基于 DINOv2 进行微调训练,输入渲染图片与对应的关节坐标等标注信息。 生成动作参考 :使用 MiniMax H3 生成目标模型的动作视频。 逐帧特征提取 :用训练好的小模型逐帧推理视频,提取关节坐
阅读原始来源来源记录
研究分析
项目记录
来源描述:从粗糙的 Astra 建模踩坑开始,我就一直在琢磨:到底怎么才能让整套 3D 资产与动画生成流程真正自动化起来? 一路从 OpenAI 产出概念效果图,到 Tripo3D 生成 3D 模型,再到非人形怪物的自动绑骨蒙皮;更进一步,用 MiniMax H3 生成想要的动作视频,并基于 Meta 的 DINOv2 训练专属小模型来识别骨骼与关节位置,最终把视频动作还原到 3D 骨骼上(这里必须感谢 @CanItCode ,核心思路正是从他的视频中学到的),才终于跑通并达到了视频里这种勉强可用的效果。 核心实现思路 模型生成 :通过 Tripo3D 生成基础 3D 模型。 自动绑骨 :使用 TokenRig 完成非人形结构的自动绑骨与蒙皮。 **合成训练集(imoportant)**:在 Blender 中采用双视角与随机姿势,自动摆出并渲染默认的 3,000 个动作样本。 训练视觉小模型 :基于 DINOv2 进行微调训练,输入渲染图片与对应的关节坐标等标注信息。 生成动作参考 :使用 MiniMax H3 生成目标模型的动作视频。 逐帧特征提取 :用训练好的小模型逐帧推理视频,提取关节坐
采用记录与比较对象
可供比较的近期同类记录:“Show HN: AIVim – an open-source, Vim-inspired AI editor” (Show HN, 2026年11月7日);“[分享创造] 做了一个 llama-server 的多开工具” (V2EX, 2026年11月7日)。主题相近仅用于导航,未核验其是否属于同一需求或独立证据。
采用判断
应与它要替代的工具或人工流程比较。现有记录支持发现项目,尚不能确认可靠性、运行成本优势或商业采用。
尚未核验的门槛
尚未核验:许可证权限、硬件要求、安装步骤、维护状态,以及包含失败样例的代表性任务。
下一步试验
选择一个真实任务和现有替代方案,记录 commit、环境、输入、输出、耗时与失败行为;保留结果后再给出采用建议。