diff --git a/直播跟拍机器人研究进展240110.docx b/直播跟拍机器人研究进展240110.docx new file mode 100644 index 0000000..0ef054f --- /dev/null +++ b/直播跟拍机器人研究进展240110.docx @@ -0,0 +1,38 @@ + 直播跟拍机器人研究进展 +一、直播跟拍机器人项目简介 +本项目设计的跟拍主要分为两个部分：人脸跟拍云台和跟随小车。具体如下图所示： + + 图1 跟拍机器人示意图 +其中，人脸跟拍云台主要采用AI云眼三轴控制，以及深度摄像机，可自动锁定人物并实现秒跟随。该部分计划与厂商合作设计。 +跟随小车主要由智能小车平台，UWB基站和手持UWB标签，以及避障相机组成，利用UWB的基站与标签之间通信的到达角（AOA）和双向测距（TWR）进行定位，并根据设定的跟随策略计算出小车的导航信息，使得UWB的基站与标签之间保持一定距离且正对（即AOA为90°）。 +小车的实时避障功能主要通过避障相机识别并测量障碍物的尺寸和距离，绕开障碍物。 +二、跟随功能原理 +首先，车载UWB基站基于标签通信的AOA和TWR，确定由方向角和距离决定的标签坐标（x，y）并传输给车载3588控制板的ROS系统，如下图所示， + + 图2 UWB定位模型 +其次，ROS基于UWB定位坐标，对小车底盘给出指令，小车旋转至，并向标签方向行进，如下图所示 + + 图3 小车旋转至标签方向 +当小车行进至距离标签较近（设定距离阈值）时，停止行进。当标签移动时，小车启动，继续向标签方向行进。 +三、项目进度 + 基于现有的小车平台，实现了跟随功能。小车和标签如下图所示， + + 图4 小车（载有UWB基站）和手持标签示意图 +具体实现功能如下： +1. 360度全向检测：在LOS环境下，无论手持标签人员处于小车的何种方位，小车都能实现跟随。 +2.变速靠近：基于测距d，小车离标签越远，行进速度越快，速度公式为。 +3.距离保持：小车在静止时和标签始终保持一定距离（1.5~1.8m），距离超出1.8m小车向标签行进，距离小于1.5m时小车沿着标签反方向后退，维持距离区间。 +4.变速转向：基于测角，小车始终面朝标签（即），标签方位改变时小车会跟着转向，且标签偏离角度越大转向越快，转向速度公式为。 +四、部分代码 +ROS控制小车实现上述功能的部分代码如下所示 + +五、未完成功能及进度 + 避障功能暂未实现。在避障功能需求方面，跟随小车与割草机类似，需要双目摄像头标定障碍物并测量尺寸和距离，并上传至ROS系统，驱动小车绕行。目前小组内已实现将障碍物尺寸和距离数据上传至3568控制板，还未传至ROS系统。 +六、余下进度安排 + 由于跟随机器人与割草机的避障需求相同，待障碍物数据传至ROS系统，控制小车进行避障，具体策略如下图所示， + + 图4 小车避障策略示意图 +在图5中，车载双目摄像头检测到障碍物并判定距离较近后，向右（或左）旋转90°，行进一段距离（如30cm），再向左（或右）转至原来方向，若摄像头未检测到障碍物，则认为已避开障碍物，继续向标签方向行进。若转回至原来方向仍检测到障碍物，则继续右（或左）转90°，继续行进，直至避开障碍物。 + + + diff --git a/直播跟拍机器人进展24-02-04.docx b/直播跟拍机器人进展24-02-04.docx new file mode 100644 index 0000000..c0e8b11 --- /dev/null +++ b/直播跟拍机器人进展24-02-04.docx @@ -0,0 +1,61 @@ + 直播跟拍机器人进展报告 +一、项目完成情况 + 已完成跟随小车的基本功能：跟随和避障。 +oo 跟随功能：输入参数 -- -- UWB测距d和到达角 +1. 360度全向检测：在LOS环境下，无论手持标签人员处于小车的何种方位，小车都能实现跟随。 +2.变速靠近：基于测距d，小车离标签越远，行进速度越快，速度公式为。 +3.距离保持：小车在静止时和标签始终保持一定距离（1.5~1.8m），距离超出1.8m小车向标签行进，距离小于1.5m时小车沿着标签反方向后退，维持距离区间。 +4.变速转向：基于测角，小车始终面朝标签（即），标签方位改变时小车会跟着转向，且标签偏离角度越大转向越快，转向速度公式为。 +oo 避障功能：输入参数 -- -- 双目摄像头测得障碍物距离与宽度 +1. 避障程序的优先级在跟随程序以上，即双目测得障碍物距离低于45cm时，暂停跟随程序，右转90°，行进与障碍物宽度同样的距离，再左转90°，完成绕行的策略。如下图所示 + + 图1 小车避障程序示意图 +2. 绕开障碍物后，暂停避障程序，根据标签的实时位置继续进行跟随，如图1所示。 +3. 面对障碍物突然出现的情况（行人从小车和主播之间路过），当测得障碍物的距离范围在10-45cm之间，跟随小车即做出避障动作。 +二、跟随以及避障实物展示 + 跟随小车的实物演示如下图所示。 + + 图2 跟随小车跟随和避障实物演示图 + 图2左为小车跟随标签行进的过程，图2右为车载摄像头检测到垃圾桶后避障的过程。 +三、未完成功能 + 由于视觉避障功能有一定局限性（光线等因素影响），拟加入超声测距模块，对双目摄像头可能漏检的障碍物进行补检，提高避障性能。 +四、完整跟拍机器人样机设计规划 + 鉴于目前跟随小车的基本功能已完成，计划设计完整的跟拍机器人样机，如下图所示。 + + 图3 跟拍机器人示意图 +图3中的跟拍云台计划购买样机，由支架固定于跟随小车上。由于云台和支架有一定的重量，图2中的小车体量较小，难以在该负重下自由活动。除此之外，该小车的车轮较小，不具备在草坪等非平地上行进的能力。为满足较大负重和非平地上行进的需求，还需购买大功率和大车轮的小车平台。 +五、采购计划 + 采购清单 +商品名称 +单价 +数量 +合计 +备注 +大疆 DJI Osmo Mobile SE OM手持云台稳定器 +599元 +1 +599元 +测试用，定制低配版100元左右 +某品牌大载重闭环步进电机小车底盘 +1999元 +1 +1999元 +开发测试用，工厂生产成本更低 + + +总计 +2598元 + + 各商品简介如下： +1.跟拍云台 +计划购买淘宝上大疆智能跟拍云台，智能跟随，防抖动。如下图所示。测试用，与厂家合作定制低配版100元左右 + + 图4 淘宝大疆跟拍云台 + 商品网址：【淘宝】https://m.tb.cn/h.5rfRZxyzy3z8VpV?tk=uvYcW8n7cxC CZ0000 「大疆 DJI Osmo Mobile SE OM手持云台稳定器 便携可折叠智能跟拍防抖手机自拍神器 大疆官方旗舰店」点击链接直接打开 或者 淘宝搜索直接打开 +2.通用重载小车底盘 + 计划购买大尺寸（527mm*380mm可定制），大轮径（180mm）的通用小车底盘，可适应不平地面（草坪），可通过3588开发板上ROS系统开发，控制底盘运动。如下图所示。开发测试用，工厂生产抹除开发功能成本会更低。 + + 图6 淘宝某款通用小车底盘 +商品网址：【淘宝】https://m.tb.cn/h.5rMIGSRysJNhHge?tk=m1TtW8i5yMu CZ0000 「2023年起重机创意大赛 小车底盘 大载重闭环步进电机 防滑轮 麦轮」点击链接直接打开 或者 淘宝搜索直接打开 + + diff --git a/跟拍机器人24年计划-张迪.pptx b/跟拍机器人24年计划-张迪.pptx new file mode 100644 index 0000000..699c4b0 Binary files /dev/null and b/跟拍机器人24年计划-张迪.pptx differ diff --git a/跟拍机器人进展及下周计划-0328.docx b/跟拍机器人进展及下周计划-0328.docx new file mode 100644 index 0000000..c3cc370 --- /dev/null +++ b/跟拍机器人进展及下周计划-0328.docx @@ -0,0 +1,10 @@ +一、跟拍小车目前进度： +1：小车底盘已组装完成，能遥控驱动，底盘控制还未调通。 + +2：超声模块已调通（在割草机上） + +二、下周计划 + 全力争取调通底盘，用3588进行控制。 + + + diff --git a/跟拍机器人进展及下周计划-0407.docx b/跟拍机器人进展及下周计划-0407.docx new file mode 100644 index 0000000..103f326 --- /dev/null +++ b/跟拍机器人进展及下周计划-0407.docx @@ -0,0 +1,8 @@ +一、跟拍小车目前进度： +1：解决了定时器配置问题，目前可通过电脑给指令让底盘运动。距离底盘完全控制还需实现对编码器的控制 + +二、下周计划 + 继续攻关编码器，实现底盘控制。 + + +