基于力反馈触觉的遥操作控制系统是一种通过触觉交互技术实现“人-机-环境”闭环控制的先进人机协作系统。操作者通过主端设备(力反馈手柄+VR设备)发送动作指令,控制远端执行器(如机械臂)完成任务,同时实时感知从端接触环境的力/触觉信息,实现“身临其境”的精准操控。
1:1构建虚拟场景,不在现场也能身临其境,并可以预演操作路径从而规避碰撞风险
实时采集控制端设备的运行状态并实时渲染显示
通过从端力传感器(六维力/力矩传感器)采集接触力、振动等物理信息从而根据精准的操作
采用专用协议(如TSN、ROS2-DDS)确保控制指令与反馈信号的端到端延迟<50ms
工作空间
平移 210*210*130 mm
旋转 240*115*320 deg
力
持续力 8.5 N
分辨率
直线位移 0.02mm
旋转位移 0.005 deg
刚度
7.8 N/mm
接口
标准 USB2.0
刷新频率 4KHz
通用电源 220V 转24V
操作平台
Microsoft Windows 7/8/10/11
Linux All distributions
软件开发包
设备层
Windows HFD_API.dll、HFDTech3D.dll
Linux HFD_API.so
应用层
Unity3D平台 HFDTech3D.cs脚本
结构
基于Delta的并联机构,与末端串联旋转机构解耦连接,具有被动+主动双重力补偿功能
校准
采用绝对编码器,开机自动校准,无需手动校准
用户输入
末端手柄上1个可编程的输入按钮
安全性
超速自动关闭力反馈,进入电磁阻尼状态
资源更新
从服务端进行资源检查与更新
登录功能
登录、注册、修改、重置密码、个人中心等
监控相机系统
(1)监控相机的添加与编辑;(2)监控相机的数据流接入;(3)视频画中画显示
多视角系统
(1)支持创建多个灵活的UI窗口进行虚拟视角显示,窗口可固定、可弹出、可拖动、可缩放;(2)支持窗口内视角的移动、旋转、缩放;(3)可创建和选择预定义视角;(4)可对选定的模型进行视角旋转和缩放的聚焦观察。
模型交互操作
(1)可对接机械臂相关的算法程序,实现对模型拖拽的交互控制,可实现先移动模型,然后程序再反算关节运动参数(算法由甲方提供);(2)可对遮挡聚焦设备的模型设置隐藏或透明度调节;(3)可对物体节点开关轨迹线、可设置轨迹保留时间。
事件与行为的管理
1.事件的定义:(1)位置、碰撞事件触发某操作;(2)参数事件触发某操作;2.触发的操作:事件发生后触发录屏操作、Ui弹窗等
录屏和保存功能
对事件进行记录并在本机保存成MP4格式;
虚拟场景可视化
对CRAFT的场景进行仿真,可以查看到系统中的各个设备、传感器、执行器的工作状态
维护过程可视化
(1)设备的运转情况监控;(2)遥操作维护流程及进度监控;(3)视频接入可视化;(4)设备故障报警
数据可视化
1.响应式可视化:点击设备查看编辑设备信息;2.看板式可视化:半透明显示设备运行状态,波形图,柱状图等;3.大屏幕可视化:遥操作维护系统整体信息
离线仿真模式
通过离线仿真模块,可对接遥操作控制系统,对其进行场景编辑,可对包层维护和偏滤器维护的相关模型场景进行编辑,可调整预设的视角、对模型的显示状态和位置进行调整和保存。在这里可以对遥操作步骤进行观察。 虚控虚:计算机遥操作系统>>指令控制>>虚拟现实可视化系统
虚实同步模式
实控虚:CRAFT现场设备>>状态控制>>虚拟现实可视化系统
加载模型
可导入指定格式的模型,如FBX,模型通过服务器中的模型库集中管理,客户端同步更新
Assetbundle方式导入模型
在Unity中编辑内容,添加组件、限制、修改材质等,完成后导出独立的Assetbundle
虚拟场景维护
1.模型配置:(1)从库中加载模型(2)移动模型位置(3)保存场景更改 2.UI配置建议这期先不做,先做效果比较好的固定的视图,后面再考虑更换为动态
碰撞检测系统
使用Unity物理引擎进行力学计算与碰撞检测
外部数据的接口
(1)读取外部真实系统的数据并对虚拟系统进行模型状态更新(2)读取外部遥操作系统的数据并对虚拟系统进行模型状态更新
多用户并发处理
(1)支持不小于15个用户并行访问;(2)支持用户连接不同的设备控制器并在不同的工作页面不同的视角显示相同的场景
PC版
基于鼠标键盘交互的PC版本的开发
VR版
基于手柄交互的VR版本的开发(漫游查看场景)
资源调度
整个系统数据处理和分发的中台,进行资源调度和数据传输
模型管理
模型、场景等相关数据的存储中心
图形处理
图形处理模块中,服务端和客户端采用了图形处理专用引擎 GPU 进行三维场景、 模型的图形计算和处理,包括顶点混合、纹理映射、贴图压缩等
数据库服务
数据库系统,对整体系统提供数据存储、检索等服务功能
用户管理
提供登录功能的数据对接和用户数据的储存管理,包括但不限于对用户的工号、密码、邮箱、角色分配等信息
运行数据
对系统运行数据进行保存和记录
日志管理
可以查看系统操作的日志