第十三届中国科大《计算机图形学前沿》暑期课程(第五天)

2025年7月11日星期五,第十三届中国科学技术大学《计算机图形学前沿》暑期课程第五天,上午由深圳大学的胡瑞珍老师主持进行,下午由GCL实验室的刘雨萌老师主持进行。

第四天课程安排:具身智能:入门、方法与应用(7月11号)

课程1

来自北京大学的董豪老师作的报告题目为《具身智能趋势分享》。董老师首先回顾了具身智能能力等级划分体系,从基础感知智能到端到端具身大模型的演进过程。随后,他介绍了在物体操作中,任务编排大模型在抓取、位姿估计与深度修复等方面的结合应用;在任务规划中,通过说明书合成操作数据训练任务大模型;在通用导航方面,展示了首个通用指令导航大模型的研究成果。最后,董老师展望了机器人未来将通过传感器实现自主抓取的可能。

课程2

来自中国科学技术大学的刘雨萌老师作的报告题目是《机器人基础:运动学与动力学》。课程系统讲解了机器人从建模到控制的基本原理与关键技术。刘老师首先介绍了运动学建模方法,利用DH参数构建坐标变换,并通过二连杆模型讲解了正向与逆向运动学。随后,课程深入讲解了轨迹规划,包括关节空间与操作空间的路径生成,并对比了梯形速度与多项式插值两种方法的优劣。最后,刘老师讲述了机器人动力学建模与控制策略,结合前馈与反馈控制实现精确运动控制。

课程3

来自香港大学的窦志扬老师作的报告题目是《机器人基础:基于物理的运动控制》。课程系统介绍了物理驱动的运动控制方法,涵盖从跟踪控制、技能迁移到模型预测控制等核心内容。窦老师首先区分了运动学控制与基于物理的控制,强调后者需遵循真实世界中的物理规律。随后,他讲解了深度强化学习在动作跟踪中的应用,以及通过对抗学习实现的可复用技能嵌入。最后,窦老师介绍了模型预测控制与生成式物理模拟平台在机器人智能控制中的前沿应用。

课程4

来自上海交通大学的杨理欣老师的报告题目是《多模态感知与行为决策》。报告聚焦于具身智能体如何融合多种感知信息实现复杂行为。杨老师首先介绍了多模态感知的关键问题,包括视觉、语言、触觉等信息的协同建模;随后讲解了基于图神经网络和大模型的感知融合机制。在行为决策方面,报告展示了多模态驱动下的策略生成方法,涵盖模仿学习、强化学习与因果推理等框架。最后,杨老师展望了多模态感知在机器人、自主系统中的广泛应用前景。

课程5

来自北京大学的董豪老师作的报告题目为《强化学习简介》。报告聚焦于强化学习的基本概念、理论基础及其问题建模与求解过程。董老师首先通过“打砖块AI”和“王者鲁班七号AI”的例子引入强化学习的应用场景,随后介绍了其生物学基础以及斯金纳箱等经典强化学习理论。接着,报告详细阐述了强化学习中的问题模型,包括环境、智能体与策略的定义,并以小麻将和井字棋为例讲解求解过程。同时,他还介绍了模型的泛化形式以及状态价值函数与动作价值函数的计算方法。

课程6

来自深圳大学的胡瑞珍老师的报告题目是《具身智能与图形学:三维交互建模与生成》。报告聚焦于利用图形学技术,在仿真环境中学习和生成人物与场景(HSI)、人物与物体(HOI)的交互行为,并实现向真实世界的迁移。胡老师首先介绍了多种用于解决HSI中规划与动作生成问题的先进方法,重点讲解了基于物理模拟和几何引导的监督学习策略。此外,她还介绍了交互迁移的研究进展,并展示了相关成果在现实装箱任务中的应用。

课程7

来自国防科技大学的徐凯老师的报告题目是《世界模型驱动的具身智能》。报告聚焦于世界模型的进展综述与进展思考。徐老师系统梳理了世界模型的定义、必要性及其面临的挑战,进一步探讨了专用与通用模型的适用场景(如用于规划和学习)、形式化架构与表达方式,并强调其在具身智能决策中的关键作用。最后,他指出当前3D视觉模型仍十分有限,未来应构建具备显式表示和主动预测能力的世界模型,并探索多模型之间的有效级联与协同。

课程总结与讨论

最后,六位老师在圆桌论坛环节对当天课程进行了总结回顾,并深入探讨了具身智能当前面临的核心挑战与未来的发展机遇。

报告人简介

董豪 北京大学

董豪,北京大学计算机学院前沿计算研究中心助理教授、研究员及博士生导师,科技部科技创新2030项目首席,入选国家级高层次青年人才计划。研究领域涵盖物体操纵、任务决策和具身导航,致力于构建通用具身智能算法与系统。他在RSS、ICRA、CoRL、NeurIPS、ICLR、CVPR、ICCV等国际顶级会议和期刊发表论文70余篇,谷歌学术引用量超8000次。荣获IROS 2024最佳应用论文入围奖、NeurIPS 2022 MyoChallenge操作赛冠军、ACM MM 2017最佳开源软件奖等。长期担任NeurIPS、CVPR、AAAI、ICRA、Machine Intelligence Research等顶级会议和期刊的领域主席及副编委、获Machine Intelligence Research 杰出副编委奖等。

刘雨萌 中国科学技术大学

刘雨萌,中国科学技术大学数学学院博士后研究员,博士毕业于香港大学计算机系,师从王文平教授和Taku Komura 教授。她的研究兴趣是具身智能与计算机图形学。在攻读博士学位之前,她于2018年获得中国科学技术大学计算数学专业的理学学士学位。

窦志扬 香港大学

窦志扬,香港大学(HKU)计算机科学系研究生,师从王文平教授和Taku Komura教授,曾在宾夕法尼亚大学(UPenn)的Grasp Lab和图形学实验室访问刘玲洁教授并与UPenn MEAN的Cythia Sung教授密切合作。他的研究兴趣包括计算机图形学、几何处理、角色动画、物理仿真动画与人体行为建模与分析,研究成果发表在SIGGRAPH、SIGGRAPH ASIA、EUROGRAPHICS、ACM TOG、TVCG、SGP.CVPR、ICCV、ECCV、ICLR等国际顶级会议和期刊,曾获SIGGRAPH最佳论文奖、CGF年度高被引论文奖、港大基金会2023/24学年优秀博士生奖、Meshy Al Fellowship Finalist等。他现阶段的研究重点是将几何、拓扑和物理的先验融入到4D数据的获取、分析与生成过程之中。

杨理欣 上海交通大学

Lixin Yang is a Research Assistant Professor in School of Artificial Intelligence (SAI), Shanghai Jiao Tong University (SJTU). Since 2019, he has been part of the Machine Vision and Intelligence Group under the supervision of Prof. Cewu Lu, where he obtained his Ph.D. in 2023. Prior to that, he received his M.S degree at the Intelligent Robot Lab in SJTU. His research interests include 3D Vision and Robotics. Currently, he is focusing on modeling and imitating the hand manipulating objects, including 3D hand/object pose/shape estimation, grasp/motion generation, imitation learning, dexterous manipulation.

胡瑞珍 深圳大学

胡瑞珍,深圳大学特聘教授,博士生导师,国家优秀青年科学基金、广东省杰出青年项目获得者。研究方向为计算机图形学,长期从事智能几何建模与处理方面的研究,发表 ACM SIGGRAPH/TOG 论文三十余篇;入选中科协青年人才托举工程;荣获亚洲图形学协会青年学者奖、全国几何设计与计算青年学者奖;担任期刊IEEE TVCG、IEEE CG&A和Computers & Graphics等国际期刊编委;担任国际会议SGP 2024/CVM 2023/SMI 2020 Technical Paper、SIGGRAPH Asia Technical Communications and Posters以及EG 2024 Short Paper程序委员会主席,连续多年担任SIGGRAPH等大会程序委员会委员;担任中国图象图形学学会智能图形专委会副主任、中国计算机学会计算机辅助设计与图形学专委会常委/副秘书长、计算机图形学与混合现实在线平台(GAMES)执委会主席。

徐凯 国防科技大学

徐凯,国防科技大学教授。普林斯顿大学访问学者。研究方向为计算机图形学、三维视觉、具身智能、数字孪生等。在国际上较早开展了数据驱动三维感知、建模与交互工作,提出面向复杂三维数据的结构化感知、建模与交互理论方法系统。主持国家自然科学基金青年科学基金A类(原杰青)项目、重点项目等。发表TOG/TPAMI/TVCG/CVPR/ICCV等A类论文100余篇。担任图形领域顶级国际期刊ACM Transactions on Graphics、IEEE Transactions on Visualization and Computer Graphics的编委,Computational Visual Media的领域执行编委。多次担任领域内重要会议的大会主席和程序主席。担任中国图象图形学会智能图形专委会副主任、中国工业与应用数学学会几何设计与计算专委会副主任。曾获湖南省自然科学一等奖2项(排名1和3)、中国计算机学会自然科学一等奖2项(排名1和3)、军队科技进步二等奖、军队教学成果二等奖、中国电子学会青年科学家奖。