机器人桌面整理智能技术研究与系统开发
开放混杂场景下高效准确的物体抓取放置是近几年机器人和人工智能领域的重要前沿研究热点，在工业制造、家庭服务等领域有着广泛而重要的应用需求。本项目以机器人智能完成桌面整理为典型场景开展相关研究，拟通过自主探索环境实现物体完整感知、进而合理规划运动轨迹为研究思路，主要内容：
- 结合自主环境探索的目标物体感知识别与位姿估计；
- 综合考虑物体状态及碰撞的机械臂运动轨迹最优规划；
- 机械臂桌面整理集成系统开发及演示验证。
于瑞骐，浙大控制学院大二。曾获浙江大学中控杯机器人竞赛二等奖，浙江省大学生机器人竞赛三等奖；参加全国大学生数学竞赛、美赛。加入ZJUDancer视觉及机械组，备战RoboCup仿人足球机器人比赛；能够熟练使用Arduino、stm32、树莓派、C++及Python等工具进行项目开发，熟练运用MATLAB、Solidworks等软件进行机器人建模及仿真，能运用ROS进行机器人仿真及开发。对机器视觉、机器学习等相关领域有着浓厚的兴趣并在不断强化学习积累。
-
项目组成员一：王语祯，浙大竺可桢学院大一。掌握C、Python等语言，Solidworks、AutoCAD等软件，以及ROS等机器人开发工具；
-
项目组成员二：刘逸洋，浙大机械学院大二。能熟练使用SolidWorks和C语言，能运用Arduino和立创进行项目开发，并对Python和机器学习相关内容有一定了解，曾获得全国大学生数学竞赛一等奖；系无人系统协会成员，熟悉常用机械结构。
《中国制造2025》的核心是中国制造全面升级为中国“智造”，机器人作为未来智能制造重点技术，正逐渐取代人工被广泛应用于工业制造、物流分拣、农林采摘、家庭服务等领域。抓取放置作为人类在生产生活中与物体最基础的交互方式，同样也是机器人和物体间进行交互的最重要的形式。无论工业机器人、服务机器人，抓取放置能力都是机器人最重要的能力之一，是评判机器人智能化的重要标准。
经过数十年的研究，抓取放置机器人已经积累了大量研究成果。针对特定结构化场景或使用预定义物体模型进行目标识别的机器人抓取放置技术已趋于成熟，并已投入实际生产实践中。然而，在现实生活中开放混杂场景下让机器人拥有比肩人类的抓取和放置等操作能力并非易事。面对混杂场景，人类往往能够快速准确辨认抓取目标并确定其位置及姿态，并在瞬间规划出实现任务目标的合理的运动轨迹。而现有的抓取放置机器人则大多用于在特定的结构化工作场景中完成指定任务，或者是使用预定义的物体模型进行物体识别。其在目标感知和运动规划能力上的不足使得它们在复杂环境中有效地搜索通用目标对象的能力受到限制。因此，本项目基于如何提升机器人的视觉感知和运动规划能力，让机器人在开放混杂场景下能够高效精准地抓取放置目标物体的研究具有较高的理论与实践研究价值。
近年来，世界范围内展开了一系列针对能够适应混杂场景和通用目标物体的抓取机器人的研究。机器人智能完成桌面整理作为物体感知、规划及抓取放置任务的典型场景，已成为抓取机器人研究的焦点领域。2020年，Tonci Novkovic等人在IEEE上发布论文《Object Finding in Cluttered Scenes Using Interactive Perception》，首次提出“交互式学习”的机器人环境感知方案；阿里巴巴人工智能实验室与美国南佛罗里达大学等众多大学共同举办的OCRTOC机器人挑战赛，聚焦机器人抓取放置能力及桌面物品整理的应用场景展开研究，全球包括清华大学在内的59支队伍参加了竞赛，极大推动了抓取放置机器人各领域的研究和探索。但现有的相关领域研究成果对于堆叠或未知物体的感知困难以及运动规划仍存在冗余等问题，有待进一步开发与研究。
本项目将通过机器视觉图像识别及处理、任务与动作规划等创新研究实现机器人对物体的精确抓取放置任务，并通过深度强化学习方式对整个系统进行不断优化。项目研究将取得以下两方面预期成效：
- 实现桌面整理的实际任务，提出行之有效的感知和规划方法，填补抓取放置机器人在环境感知和运动规划上的缺陷，增强机器人与物体和环境的交互能力，极大拓展机器人在工业生产、日常生活中的应用，顺应智能生产生活的时代趋势；
- 有效促进机器视觉图像处理、机械臂运动规划以及机器学习技术的深度结合，实现多技术的融合发展。
一、主要内容
本项目以机器人智能完成桌面整理作为物体抓取放置任务的典型场景为研究目标，围绕物体感知、规划及抓取放置问题展开相关技术的研究。研究主要内容包括：
- 运用机器视觉、强化学习等方法，通过机器人对环境进行自主探索并交互，实现目标物体的感知识别和位姿等数据的完整获取，得到机器人抓取放置所需的完整三维地图；
- 运用机器学习方法，综合考虑目标物体状态及避障进行机械臂运动轨迹最优规划；
- 机械臂桌面整理任务执行及控制。
二、计划目标
- 设计并实现能够对环境的主动探索与交互，从而精准感知目标物体并估计其位姿等数据的方法；
- 设计并实现综合考虑物体状态及碰撞等因素的机械臂动作轨迹的最优规划；
- 实现机械臂运动学控制，完成机械臂桌面整理集成系统开发及演示验证。
三、拟解决的问题及思路方法
项目拟解决的问题分为三类：感知、规划及控制。
-
感知类拟解决的问题：
1.1物体种类、位姿及状态等数据获取系统：
① 通过Kinect深度相机获取场景的RGB-D四通道图像信息，运用FCN对图像进行实例分割，并将对应像素区域内的点分别聚合到场景地图的点云中；
② 运用KNN算法计算每个目标物体的种类；
③ 对点云进行分析并拟合出每个目标物体的外轮廓线，测算其位置与姿态，并计算当前对目标物体的观测完整性。
1.2主动感知和交互感知：
① 主动感知：运用强化学习方法，通过当前目标物体观测完整性计算机器
人主动改变观测角度后得到的信息增益及相应奖励值，激励机器人不断更新观测视角，使其以最优方式获取抓取所需的完整三维目标地图；
② 交互感知：若场景中出现堆叠或遮挡等无法完整观测的情况，运用强化学习方法使机器人与物体进行动作交互，直至所有物体均可被完整感知。
-
规划类拟解决的问题：
主要解决机械臂动作轨迹的最优规划问题：基于距离、速度等因素，对机器人的抓取、移动和放置等动作的代价进行准确科学的量化评估，然后基于代价函数，综合考虑碰撞及障碍等额外因素，运用深度神经网络对动作轨迹进行优化，直至最优。
-
控制类拟解决的问题：
主要解决机械臂执行的运动学控制问题：建立机械臂的运动学模型并进行仿真，在现有基础上改进控制算法，提高机械臂抓取和运动的稳定性。
四、组织实施及进度安排
本项目拟基于UR六自由度机械臂展开研究。项目任务在仿真平台初步试验通过后，拟将项目转移到实物环境下进行测试，验证其效果并进行改进。
2022年3月-6月：ROS、机器学习等理论学习，继续查阅相关文献资料，整理知识框架，细化工作流程；项目环境的搭建，初步实现机械臂运动控制及深度相机信息获取；
2022年7月-8月：结合深度相机信息对目标物体建模，实现物体数据获取系统；
2022年9月-10月：分析机械臂感知的信息增益并进行模型训练，实现主动感知和交互感知；
2022年11月-12月：对机械臂进行运动学建模，分析其动作代价并进行模型训练，实现机械臂运动轨迹最优规划；
2022年12月-结题：总结完善项目内容并优化，完成论文。
一、已有研究基础
- 该领域专家熊蓉教授作为本项目指导老师可提供关键的研究方向和学术指导；
- 控制学院实验室的材料、技术支持；可直接导入仿真系统使用的UR机械臂的Solidworks模型；如OpenNI等可直接进行Kinect深度相机数据获取的Python库；
- 国内外在语义分割、交互感知等机器人相关领域文献资料；
- OCRTOC两届大赛中部分参赛队公开的答辩视频。
二、优势和风险
-
优势：研究方向清晰创新性强，有可持续深入研究的深度和广阔的应用场景的广度，有较高的实用价值和普适性；
-
风险：机器人桌面整理为新兴混合型研究领域，待解决的问题较多,知识积累有欠缺；
-
解决办法：强化学习储备知识，借鉴国内外先进经验。
三、项目创新点
本项目在综合研究成果较少的机器人桌面整理领域，实现完整有效的感知规划系统，提出解决特定问题的有效方法，有较强创新性。
- 研究通过轮廓拟合并推断物体位姿的方法，提高物体位姿估计的通用性和准确性；
- 研究主动感知、交互感知方法，考虑物体观测完整性，让机器人发现以前无法观测的部分，显著提高生成三维地图的效率和准确性；
- 运用深度学习方法，综合考虑碰撞及障碍等因素实现机械臂运动轨迹最优规划。
- 基于上述方法整合并实现完整机器人智能桌面整理系统。
-
基础成果：机械臂桌面整理集成系统的demo；以项目为基础的论文；
-
应用成果：以项目为主要内容的发明专利；针对抓取系统的不足进行深入优化并将进一步研究作为毕设内容；项目成果将参加OCRTOC竞赛；
-
经济社会效益：增强机器人与物体的感知交互能力，助推机器人在更多场景中的应用。
- 专用材料费：6000元。项目相关硬件材料购买。
- 印刷与资料：2000元。购买书籍文献、打印资料等。
- 出版费：3000元。论文、报告等出版。
- 交通与差旅：800元。校区间往返。
- 邮寄费：200元。材料及成果邮寄。