速通具身智能毕业论文!LeRobot+LingBot-VLA训推全流程
Description
蚂蚁灵波开源的具身智能基座大模型LingBot-VLA 后训练全流程:SO ARM 101机械臂组装、校准。获取端口号、连接摄像头、遥操作、录制示教数据集、选择VLA预训练模型、后训练微调、仿真验证、开环验证、真机推理 项目网站:https://technology.robbyant.com/lingbot-vla 技术报告:https://arxiv.org/pdf/2601.18692 开源代码:https://github.com/Robbyant/lingbot-vla 【模型权重】 魔搭社区:https://www.modelscope.cn/collections/Robbyant/LingBot-VLA HuggingFace:https://huggingface.co/collections/robbyant/lingbot-vla 小助手:LingBot-01(申请备注写子豪兄粉丝) 同济子豪兄LeRobot保姆级知识库:https://zihao-ai.feishu.cn/wiki/space/7589642043471924447
Comments
我这写了个推理引擎,刚开源不久,今天正正好也准备适配lingbot-vla https://github.com/LiangSu8899/FlashRT 现在支持pi全系列,groot,motus等,各个硬件(目前支持thor、orin和50,40等消费显卡)比trt加速2-3倍,比torch compiler快3-5倍,有部署需要的各位欢迎尝试[打call][打call]
♥ 146 ↩ 3
这玩意儿再深入研究一下硕士毕业够不够[doge]
♥ 14 ↩ 2
这个控制也太抖了吧.....算法不行还是电机不行?
♥ 7 ↩ 9
pick place没有前途哦
♥ 6 ↩ 8
请问本地推理至少要什么算力
♥ 6 ↩ 1
收二手101,同时想问跑完这个 能找到相关工作吗? 目前研二下,没有任何实习,之前搞论文去了。 想问下有没有懂得老哥,这个全流程走完家自己的猜想改进能找到工作吗?
♥ 3 ↩ 4
学习啦[星星眼]
♥ 3
有没有仿真教程呢?
♥ 3
微调必须要八卡 A100 吗?至少要多大的显存?
♥ 3
我想问一下up,想学习这方面应该怎么入手啊[呲牙]
♥ 3 ↩ 1
大家考虑过训练的硬件成本多高吗?
♥ 2
您好,如果我用视频中一样的硬件,实现这个demo,我是不是可以先买一个机械臂,等完成视频的demo后,再考虑买遥操作的机械臂来进行训练自己的模型呢
♥ 2 ↩ 2
有啥用
♥ 3 ↩ 1
后训练步骤: 1. 安装lerobot环境 05:30 2. 下载预训练模型权重文件 05:40 3. 准备数据集和机器人配置文件 05:50 4. 计算归一化统计值 06:08 5. 后训练微调 06:32 6. 开环测试 06:46 7. 真机推理 07:32
♥ 1
emmm做传统机器人运动控制的可以转vla吗?现在做vla的好像都是大模型那批人
♥ 1 ↩ 1
子豪兄,我在学习你的LeRobert毕设,做到后面发现没有Windows环境的教程了,可以更新出来不。
♥ 1
您好 我想做传统的机械臂的路径规划来验证我改进的算法 是不是只需要够买从臂就可以了。我还想做和摄像头结合的抓取,就是传统的坐标转换
♥ 1
玩起这些基础应用,要学什么课程。。。。
♥ 1
求问大佬:我的数据已经训练完了,执行推理的时候出现以下错误,怎么解决呀[大哭]在终端检查摄像头可以检查到三个(本机+handeye+front),执行带摄像头的摇操作也可以调用handeye和front,一到执行推理就报这个错[灵魂出窍]问他们客服也没什么办法
♥ 1