视觉

本章节将针对具体场景详细介绍视觉服务的配置过程。在进行视觉配置前，请先参见 连接机械臂，完成机械臂连接。

场景要求

纸箱单码的场景采用 流水线拆垛 和 纸箱单拆 组合模板，该流图适用于单一规格的纸箱从输送线上来料，并码放到托盘上的情况。目前广泛应用于仓库按单分拣、分拣线投料、场内物流合托等多种场景。

• 相机3D相机，双目相机、激光相机、结构光相机均可

• 需要垛型规划【？？？】

本章节描述的相关配置仅供参考，具体操作请以实际项目为准。

基本配置

配置前，请依次完成 新建项目、 添加容器，并使用 流水线拆垛 模板创建视觉服务，请参见 创建流图。创建完成之后会在左上角生成节点树，如下图所示。

根据需求，依次配置这些模块。

步骤1. 配置相机模块 （请参见 连接相机。）

步骤2. 配置加载标定信息模块 （请参见 手眼标定。）

步骤3. 配置去除料筐外点云模块

1. 单击左侧节点树中的 去除料框外点云 模块，然后在右侧配置点云切割参数，然后单击预览窗口中的 触发。

   

   • X方向收缩长度：料筐沿X方向的收缩长度，负值则意味着扩张。

   • Y方向收缩长度：料筐沿Y方向的收缩长度，负值则意味着扩张。

   • 底部抬升高度：料筐底部抬升高度，负值则意味着下降。

   • 顶部下降高度：料筐顶部下降高度，负值则意味着抬升。

2. 在预览视图中移动料筐模型，使之与点云中的料筐位置吻合。

3. 在 可视化显示 区域选择需要查看的图像。

   • 未切割点云图：仅显示未去除料筐外点云的图像。

   

   • 切割对比图：对比显示切割前后的图像，被切割的点云用白色显示。

   

   • 切割完点云图：仅显示去除料筐外点云的图像。

   

步骤4. 配置降采样点云模块

1. 单击左侧节点树中的 降采样点云 模块，然后在右侧配置降采样参数。

   

   • 栅格边长：将点云中的点划分到指定大小的三维栅格（即正方体）中，栅格边长越大，输出的点云越稀疏。单位：毫米。

   • 输出点云尺寸上限值：如果该值大于0，将会进行两次采样，第二次降采样操作将会基于第一次进行。

2. 在 可视化显示 区域选择需要查看的图像。

   • 降采样点云前：仅显示降采样前的图像。

   

   • 降采样点云对比图：对比显示降采样前后的图像，被去除的点云部分用白色显示。

   

   • 降采样点云后：仅显示降采样后的图像。

   

流图详解

视觉流图的配置是Max中的高级用法，对于一般用户而言，配置完节点树中的模块即可运行整个视觉流程，无需再配置视觉流图。视觉流图中包含了节点树中没有的模块，可以配置一些高级参数，如有需要可以按照以下内容操作。

1. 创建工作空间，使用 流水线拆垛 模板创建流图，请参见 创建流图。创建成功的视觉流图如下。

2. 配置 相机 模块，获取彩色图、深度图及点云。请参见 连接相机。

3. 配置 加载标定信息 模块，请参见 标定。

4. 配置 变换点云坐标系 和 去除料筐外点云 模块，将点云从相机坐标系转换到工作空间坐标系，并去除料筐以外的点云。

5. 配置 降采样点云 模块，合理降低点云数量，去除噪声。

6. 基于步骤5得到的点云，配置 计算包围盒 模块，得到纸箱的边界、位姿等信息。该模块参数如下。

• 平面距离阈值：平面拟合的距离阈值，大于此值的点会被过滤。

• 平面最大角度：平面可倾斜的最大角度。【？？？】

• 最少点云数：如果点云数低于该阈值，模块直接返回空。

• 边缘降噪：针对边缘毛刺噪声的降噪功能，缓解边缘毛刺噪声对包围盒估计偏大的现象。

  • 开启：用户决定是否开启边缘降噪。

  • 使用平面点云：是否只使用平面上的点云进行边缘降噪。注意，箱子表面高度起伏大时，开启此选项可能会导致边缘降噪效果不佳。

  • 步长：降噪的步长。

  • 降噪阈值：每行(列)点云占长(宽)的最小比例，该值越大，计算所得的长宽越容易缩小。

7. 配置 变换工件位姿3D 模块，将步骤6得到的物体位姿从相机坐标系转换到世界坐标系。也可配置 可视化图像 模块查看彩色图像。

8. 配置 输出结果 和 发布3D位姿 模块，输出步骤7得到的3D工件位姿。