这是硕士阶段带领本科打比赛的项目，斩获了多项比赛的全国一等奖，甚至有一等奖中的一等奖，受于后续改进影响，本文不会透露过多细节（当然也不排除懒得吹~），只分享专业相关的技术。
省流介绍
一款融合端侧AI算法、光伏储能供电与一体化传动机械结构的产品。
RK3588 跑端侧视觉、STM32 跑实时电机控制，两台机器通过串口协议连起来。能自己在球场上找球、捡球、把球升到储球仓、分球、再按手势瞄准人打出去，全程不用人管。收球成功率 96.6%。
亮点：
1）收—升—分—发，一体化集成。
2）双模型视觉感知体系，实现人球双场景智能切换
3）局部动态规划算法+异构协同架构
核心技术说明
整体说明
图已经很清晰了，文本就不吹了
硬件系统
整体划分为环境感知采集、智能主控运算、运动驱动执行、人机通信交互、光储能源供给五大硬件单元。
RK3588嵌入式主控作为唯一核心算力平台。
环境感知硬件单元由双路高清视觉采集设备、超声波测距传感器及音频采集模块组成。
系统核心运算硬件采用RK3588智能主控平台，依托其6TOPS NPU算力资源，高效承载轻量化视觉检测、人体姿态估计、离线语音推理等端侧AI算法运行任务。
运动驱动执行单元由专用底层驱动板与多类型动力执行器件组成，负责将上层智能决策指令精准转化为机械动作。整机配置多路直流减速电机、高速发球电机与步进分球电机，搭配DRV8874直流驱动芯片与TB6600步进驱动模块，实现底盘行走、自适应收球、精准分球、可控发球全机构自动化运行。底层驱动板集成高精度PWM调速、电流采样与多重硬件保护功能。
人机交互与通信硬件依托BLE蓝牙模块与板载语音采集硬件构建多维度交互链路。蓝牙模块与底层驱动板协同工作，支持微信小程序远程参数配置、设备状态监测与运行模式切换，实现精细化设备管控。离线语音硬件配合主控算力，可在无网络环境下完成语音指令识别与设备调控，结合手势视觉识别硬件，构建起现场快捷操作与远程智能管控相结合的交互体系。
能源供给单元采用光伏锂电自适应混合供电架构，解决户外露天球场无市电补给、续航不足的应用痛点。系统由柔性太阳能板、自研数字半桥功率变换电路、MPPT能量追踪模块与BMS电池管理系统组成，可实时追踪户外光照变化，动态优化光电转换效率，最大化利用太阳能补能。
软件逻辑
数据流架构图
视觉推理：
视觉智能推理作为整机核心感知决策模块，采用双模型分时互斥加载的优化方案，解决嵌入式设备算力资源冲突问题。系统搭载两款轻量化YOLOv8系列算法模型，任意时刻仅单套模型占用NPU算力，实现算力集中高效利用。收球模式下启用前置广角摄像头，加载专项优化的网球检测模型，针对球场复杂背景、小目标网球、多球重叠场景完成精准识别，以60fps满帧率输出网球坐标信息，为寻球规划提供高频稳定的数据支撑。发球模式下自动切换后置摄像头与YOLOv8-Pose人体姿态模型，精准提取人体骨骼关键点，依托自定义手势判定逻辑，实现挥手启动、交叉停机等自定义操控功能，同时实时跟踪人体位置，动态修正设备朝向，完成定向跟随发球作业。为突破嵌入式推理性能瓶颈，系统采用多核NPU分片并行、流水线多任务调度、向量化后处理多重优化，实现图像采集、硬件推理、结果处理并行执行，彻底消除算力闲置问题。
环境感知与避障软件模块实现视觉与超声波数据的融合互补，提升设备户外运行稳定性。超声波采集任务独立后台线程异步运行，高频轮询双侧传感器数据，通过指数滑动平均滤波算法优化原始测距数据，有效抑制电机工况、户外环境带来的数据抖动，同时增设异常数据兜底机制，规避避障策略突变问题。基于改进APF人工势场算法构建连续平滑斥力场，划分多级避障区间，根据障碍物距离动态调节斥力大小，实现设备柔性绕行，解决传统避障算法行进顿挫的问题。同时设置硬性安全阈值，狭窄空间、近距离障碍物等高危工况下可紧急停机，全方位保障设备运行安全。
智能决策与路径规划模块依托代价函数择优算法与融合势场模型，实现高效自主作业。多球场景下，系统通过综合距离代价、转向代价的专属代价函数，快速筛选全局最优拾球目标，优先保障作业高效性与行进平滑性，避免设备频繁大幅转向。结合超声波避障斥力数据动态修正目标路径，形成“目标择优+动态避障”的局部路径规划体系，毫秒级输出最优运动指令。发球场景下，采用IoU与中心距离双重匹配跟踪机制，稳定锁定人体目标，避免姿态变化、画面干扰导致的跟踪中断，持续输出精准方位控制指令，保障定向发球的训练精度。
人机交互体系整合离线语音、手势识别、微信小程序三重交互方式，构建全场景智能操控体系。离线语音模块部署轻量化双语推理模型，在RK3588端侧CPU完成全流程解析，通过精确匹配、模糊匹配、字符重合度兜底的三级识别策略，有效解决户外噪声、模型误识别问题，实现无网环境下的模式切换与设备操控。手势识别依托视觉姿态算法实现免接触快捷操控，响应迅速、安全性高。配套微信小程序基于蓝牙BLE协议实现无线通信，可远程完成模式切换、参数调节、设备状态监测与训练数据可视化，兼顾应急快捷操作与精细化参数调试需求，三类交互方式互补协同，适配不同作业场景的操控需求。
上下位机采用标准化串口双向通信机制，自定义多类型数据帧协议，实现指令下发与状态回传的高效同步。系统区分视觉坐标数据帧、控制指令帧、设备状态上报帧，在单一物理串口实现多类数据稳定传输，避免数据混淆、传输冲突。上位机完成所有智能决策、路径规划、模式调度任务，底层驱动板专注于高实时性电机控制、机构驱动与闭环调速，通过100ms周期状态回传实现上下位机工况同步，形成完整的软件控制闭环。
底层控制程序以定时器中断为核心驱动，搭载增量式PID视觉伺服控制算法，精准完成底盘调速、转向修正与执行机构驱动，同时搭建多层安全防护策略。通过通信超时检测、硬件看门狗复位、指令优先级分级管控三重防护机制，有效规避通信断连、程序异常、误触发等风险，保障设备复杂工况下的运行稳定性。整机软件通过模块化解耦设计、算力资源优化、多传感器数据融合、多重安全防护，实现了智能化、高精度、高稳定性的全流程自主作业，完全适配户外网球训练的工程应用场景。
