上传文件至 /

main
张迪 2024-06-19 15:19:03 +08:00
parent 767f021067
commit 6032fcacc6
5 changed files with 0 additions and 0 deletions

View File

@ -0,0 +1,38 @@
直播跟拍机器人研究进展
一、直播跟拍机器人项目简介
本项目设计的跟拍主要分为两个部分:人脸跟拍云台和跟随小车。具体如下图所示:
图1 跟拍机器人示意图
其中人脸跟拍云台主要采用AI云眼三轴控制以及深度摄像机可自动锁定人物并实现秒跟随。该部分计划与厂商合作设计。
跟随小车主要由智能小车平台UWB基站和手持UWB标签以及避障相机组成利用UWB的基站与标签之间通信的到达角AOA和双向测距TWR进行定位并根据设定的跟随策略计算出小车的导航信息使得UWB的基站与标签之间保持一定距离且正对即AOA为90°
小车的实时避障功能主要通过避障相机识别并测量障碍物的尺寸和距离,绕开障碍物。
二、跟随功能原理
首先车载UWB基站基于标签通信的AOA和TWR确定由方向角和距离决定的标签坐标xy并传输给车载3588控制板的ROS系统如下图所示
图2 UWB定位模型
其次ROS基于UWB定位坐标对小车底盘给出指令小车旋转至并向标签方向行进如下图所示
图3 小车旋转至标签方向
当小车行进至距离标签较近(设定距离阈值)时,停止行进。当标签移动时,小车启动,继续向标签方向行进。
三、项目进度
基于现有的小车平台,实现了跟随功能。小车和标签如下图所示,
图4 小车载有UWB基站和手持标签示意图
具体实现功能如下:
1. 360度全向检测在LOS环境下无论手持标签人员处于小车的何种方位小车都能实现跟随。
2.变速靠近基于测距d小车离标签越远行进速度越快速度公式为。
3.距离保持小车在静止时和标签始终保持一定距离1.5~1.8m距离超出1.8m小车向标签行进距离小于1.5m时小车沿着标签反方向后退,维持距离区间。
4.变速转向:基于测角,小车始终面朝标签(即),标签方位改变时小车会跟着转向,且标签偏离角度越大转向越快,转向速度公式为。
四、部分代码
ROS控制小车实现上述功能的部分代码如下所示
五、未完成功能及进度
避障功能暂未实现。在避障功能需求方面跟随小车与割草机类似需要双目摄像头标定障碍物并测量尺寸和距离并上传至ROS系统驱动小车绕行。目前小组内已实现将障碍物尺寸和距离数据上传至3568控制板还未传至ROS系统。
六、余下进度安排
由于跟随机器人与割草机的避障需求相同待障碍物数据传至ROS系统控制小车进行避障具体策略如下图所示
图4 小车避障策略示意图
在图5中车载双目摄像头检测到障碍物并判定距离较近后向右或左旋转90°行进一段距离如30cm再向左或右转至原来方向若摄像头未检测到障碍物则认为已避开障碍物继续向标签方向行进。若转回至原来方向仍检测到障碍物则继续右或左转90°继续行进直至避开障碍物。

View File

@ -0,0 +1,61 @@
直播跟拍机器人进展报告
一、项目完成情况
已完成跟随小车的基本功能:跟随和避障。
oo 跟随功能:输入参数 -- -- UWB测距d和到达角
1. 360度全向检测在LOS环境下无论手持标签人员处于小车的何种方位小车都能实现跟随。
2.变速靠近基于测距d小车离标签越远行进速度越快速度公式为。
3.距离保持小车在静止时和标签始终保持一定距离1.5~1.8m距离超出1.8m小车向标签行进距离小于1.5m时小车沿着标签反方向后退,维持距离区间。
4.变速转向:基于测角,小车始终面朝标签(即),标签方位改变时小车会跟着转向,且标签偏离角度越大转向越快,转向速度公式为。
oo 避障功能:输入参数 -- -- 双目摄像头测得障碍物距离与宽度
1. 避障程序的优先级在跟随程序以上即双目测得障碍物距离低于45cm时暂停跟随程序右转90°行进与障碍物宽度同样的距离再左转90°完成绕行的策略。如下图所示
图1 小车避障程序示意图
2. 绕开障碍物后暂停避障程序根据标签的实时位置继续进行跟随如图1所示。
3. 面对障碍物突然出现的情况行人从小车和主播之间路过当测得障碍物的距离范围在10-45cm之间跟随小车即做出避障动作。
二、跟随以及避障实物展示
跟随小车的实物演示如下图所示。
图2 跟随小车跟随和避障实物演示图
图2左为小车跟随标签行进的过程图2右为车载摄像头检测到垃圾桶后避障的过程。
三、未完成功能
由于视觉避障功能有一定局限性(光线等因素影响),拟加入超声测距模块,对双目摄像头可能漏检的障碍物进行补检,提高避障性能。
四、完整跟拍机器人样机设计规划
鉴于目前跟随小车的基本功能已完成,计划设计完整的跟拍机器人样机,如下图所示。
图3 跟拍机器人示意图
图3中的跟拍云台计划购买样机由支架固定于跟随小车上。由于云台和支架有一定的重量图2中的小车体量较小难以在该负重下自由活动。除此之外该小车的车轮较小不具备在草坪等非平地上行进的能力。为满足较大负重和非平地上行进的需求还需购买大功率和大车轮的小车平台。
五、采购计划
采购清单
商品名称
单价
数量
合计
备注
大疆 DJI Osmo Mobile SE OM手持云台稳定器
599元
1
599元
测试用定制低配版100元左右
某品牌大载重闭环步进电机小车底盘
1999元
1
1999元
开发测试用,工厂生产成本更低
总计
2598元
各商品简介如下:
1.跟拍云台
计划购买淘宝上大疆智能跟拍云台智能跟随防抖动。如下图所示。测试用与厂家合作定制低配版100元左右
图4 淘宝大疆跟拍云台
商品网址【淘宝】https://m.tb.cn/h.5rfRZxyzy3z8VpV?tk=uvYcW8n7cxC CZ0000 「大疆 DJI Osmo Mobile SE OM手持云台稳定器 便携可折叠智能跟拍防抖手机自拍神器 大疆官方旗舰店」点击链接直接打开 或者 淘宝搜索直接打开
2.通用重载小车底盘
计划购买大尺寸527mm*380mm可定制大轮径180mm的通用小车底盘可适应不平地面草坪可通过3588开发板上ROS系统开发控制底盘运动。如下图所示。开发测试用工厂生产抹除开发功能成本会更低。
图6 淘宝某款通用小车底盘
商品网址【淘宝】https://m.tb.cn/h.5rMIGSRysJNhHge?tk=m1TtW8i5yMu CZ0000 「2023年起重机创意大赛 小车底盘 大载重闭环步进电机 防滑轮 麦轮」点击链接直接打开 或者 淘宝搜索直接打开

Binary file not shown.

View File

@ -0,0 +1,10 @@
一、跟拍小车目前进度:
1小车底盘已组装完成能遥控驱动底盘控制还未调通。
2超声模块已调通在割草机上
二、下周计划
全力争取调通底盘用3588进行控制。

View File

@ -0,0 +1,8 @@
一、跟拍小车目前进度:
1解决了定时器配置问题目前可通过电脑给指令让底盘运动。距离底盘完全控制还需实现对编码器的控制
二、下周计划
继续攻关编码器,实现底盘控制。