视觉伺服控制第二部分：高级方法

涉及了视觉伺服控制的高级方法，强调了基元或对象的深度在交互矩阵系数中的重要性，以及使用最优控制方法设计控制方案时考虑的约束。特别地，讨论了切换方案在结合IBVS和位置基视觉伺服（PBVS）的相对优势并避免其缺点方面的应用。在规划阶段，提到了使用路径规划技术（如势场方法）确定特征轨迹，以提高视觉伺服对建模误差的鲁棒性。最后，内容还简要介绍了在目标跟踪时，如何通过控制律中的积分项来补偿目标运动，以实现跟踪误差的减小。

视觉伺服控制第二部分：高级方法

• 前言
  • 回顾
    • • • PBVS中三维参数既出现在误差e中，也出现在交互矩阵中。IBVS所考虑的每个点的深度出现在与平移运动相关的交互矩阵的系数中。即使在控制方案中使用时也是如此，尽管在这种情况下，只需要所需位姿的每个点的深度 Z *，这在实践中通常不难获得。在所有其他情况下，必须在控制方案的每次迭代中估计当前深度。
  • 第二部分总览
    • 描述用线性几何估计3D参数，再用这些参数构建交互矩阵
    • 描述直接估计数值
      • 随后在视觉伺服控制中介中介绍更高级的技术（旨在弥补PBVS和IBVS的相对缺点）
    • 考虑目标跟踪任务（即目标对象不静止的任务）
    • 提出建模问题的概括（允许同时考虑手眼系统和手到眼系统）
• 3D参数估计
  • 1. 使用校准的立体视觉系统
    • 所有3D参数都可以通过三角测量轻松确定，但由于图像噪声，这种估计可能非常不稳定
  • 2. 极线几何估计
    • 通过使用将同一场景的图像从不同视点观察到的极线几何来估计3D参数，再有参数构建交互矩阵
      • 通常可以使用两张图像（当前的、期望的）；可以在视觉伺服任务期间进行图像测量时直接估计交互矩阵
• 极线几何
  • 给定当前图像和目标图像中图像测量值之间的一组匹配，可以恢复基础矩阵，或者如果相机已校准，则可以恢复本质矩阵，然后在视觉伺服中使用。事实上，从本质矩阵中，可以估计两个视图之间的旋转和平移（精度为标量因子）。然而，在视觉伺服接近收敛时，即当当前图像和目标图像相似时，极线几何会退化，并且无法准确估计两个视图之间的部分位姿。因此，通常更喜欢使用单应性。
    • 位姿参数PBVS 所需的米数可以恢复到标量因子，就像对于平移项一样。因此，本教程第一部分中描述的 PBVS 方案可以使用这种方法重新审视，其中新的误差定义为标量因子的平移和旋转的角度/轴参数化。
• 直接估计
  • 前面描述的方法可用于估计出现在交互矩阵解析形式中的未知3D参数。还可以使用离线学习步骤或在线估计方案直接估计其数值。这个想法仅对 IBVS 有用，因为对于 PBVS，交互矩阵的所有系数都直接从控制方案中使用的特征 s 获得。
    • 所有为估计交互矩阵而提出的数值方法都依赖于由于已知或测量的相机运动而导致的特征变化的观测。
  • • 情况1：Ls 的六列通过求解六个线性系统来估计
  • • 情况2：L+ s 的 k 列通过求解 k 个线性系统来估计
      • 故（5）（6）产生差异
  • 在线估计交互矩阵可以看作是一个优化问题
    • 研究人员已经研究了从优化方法中衍生的方法。这些方法通常将系统方程 (1) 离散化，并使用迭代更新方案来细化每个阶段的Ls 估计。
    • • 在控制方案中使用此类数值估计的主要兴趣在于它避免了所有建模和校准步骤。当使用交互矩阵不可用解析形式的特征时，它特别有用。
• 先进视觉伺服控制方案
  • 我们现在描述视觉伺服控制方案，该方案已被提议用于改善基本 IBVS 和 PBVS 的行为。第一个方案结合了这些方案的各自优势，同时试图避免其缺点。
  • 1. 混合视觉伺服
    • 旨在通过选择部分在 2-D 中定义、部分在 3-D 中定义的适当视觉特征来解耦旋转运动和平移运动
    • • 其中 θu 要么从姿势估计算法（如果对象的3D模型可用）中获得，要么从使用极线几何或单应性估计的部分姿势中获得。
    • 一种称为二维半（2 1/2- D）视觉伺服的方法最早利用这种分区来结合 IBVS 和 PBVS
      • • 使用 (8) 获得的结果如图 1 所示。这里，在 St 中考虑的点是目标的重心 。请注意，此点的图像轨迹如预期的那样是一条直线，并且相机速度分量有一个很好的下降，这使得该方案非常接近第一个 PBVS 方法。 在完美条件下，该方案是全局渐近稳定的
      • • 由于交互矩阵 Le 的三角形式，已经能够使用单应性估计方法分析此方案在校准误差存在情况下的稳定性。 此方案中涉及的唯一未知常数参数，即 Z ∗，可以使用自适应技术在线估计。
    • 其他混合方案
      • 在 [16] 中，St的第三个分量不同，并且已经过选择，以便尽可能地使所有目标点都保持在相机视野中。
      • [17] 中提出了另一个示例。在该情况下，S被选为
    • 最后可以将不同的2D、3D特征组合起来
  • 2. 分区视觉伺服
    • 目标是找到六个特征，以便每个特征仅与一个自由度相关（在这种情况下，交互矩阵是一个对角矩阵）
    • 首先进行分区以隔离与光轴相关的运动
      • 设定
        • 得到
      • 有了这个结果，剩下的就是选择S和Vz。对于基本的 IBVS，图像点集合的坐标可以用在 s 中，而可以定义两个新的图像特征来确定 Vz。
        • • 得到
• IBVS 与图像点的圆柱坐标
• 高级 IBVS 方案
  • 在控制方案中使用此类数值估计的主要目的是避免所有建模和校准步骤。
  • 对于所有提出的 IBVS 方案，我们主要考虑了 s 中的图像点坐标。当然可以使用其他几何基元。有以下原因：
    • 首先，相机观察到的场景并不总是可以通过点集合来描述，在这种情况下，图像处理会提供其他类型的测量，例如一组直线或对象的轮廓。
      • 可以确定与大类几何基元的透视投影相关的交互矩阵，例如线段、直线、球体、圆和圆柱体。
    • 其次，更丰富的几何基元可以改善解耦和线性化问题，这些问题促进了分区系统的设计。
    • 最后，要实现的机器人任务可以用相机和观察到的物体之间的虚拟连杆（或固定装置）来表示，有时直接用基元之间的约束来表示。
  • 已经计算出与平面物体对应的任何图像矩相关的交互矩阵的解析形式。这使得考虑任何形状的平面物体成为可能。如果在图像中测量了一组点，也可以使用矩。在这两种情况下，矩允许使用直观的几何特征，例如重心或物体的方向。通过选择矩的适当组合，然后可以确定具有良好解耦和线性化特性的分区系统。
    • 图像矩：可用来汇总图像中物体的形状和大小等各方面的信息。
  • 对于所有这些特征（几何基元、矩），基元或所考虑对象的深度出现在与平移自由度相关的交互矩阵的系数中，就像图像点的情况一样。因此，通常仍然需要估计此深度。很少有例外，例如使用矩的充分归一化，在某些特定情况下，这允许仅使所需的常数深度出现在交互矩阵中。
• 性能优化和规划
  • 从某种意义上说，分区方法代表了一种通过将不同的特征和控制器分配给各个自由度来优化系统性能的努力。通过这种方式，设计人员在将控制器分配给自由度时执行了一种离线优化。还可以明确设计优化各种系统性能指标的控制器。
• 最优控制和冗余框架
  • 这种方法的一个示例在 [28] 和 [29] 中给出，其中使用线性二次高斯 (LQG) 控制设计来选择最小化状态和控制输入的线性组合的增益。这种方法明确平衡了跟踪误差和机器人运动之间的权衡。
    • [30] 中提出了类似的控制方法，其中同时考虑了关节限制避免和定位任务。
  • 还可以制定明确表达图像中机器人运动可观测性的最优性准则。
    • 例如，交互矩阵的奇异值分解揭示了哪些自由度最明显，因此可以轻松控制，而交互矩阵的条件数给出了运动可见性的全局度量。这个概念在 [31] 中被称为可分辨性，在 [32] 中被称为运动可感知性。通过选择特征和设计控制器来最大化这些度量，无论是在特定自由度上还是全局上，都可以提高视觉伺服系统的性能。
  • 使用最优控制方法设计控制方案时考虑的约束在在某些情况下，由于要最小化的目标函数中的局部最小值，导致系统失败。例如，可能发生这样的情况：为远离机器人关节极限而产生的运动恰好与为接近所需位姿而产生的运动相反，这会导致零全局运动。
    • 为了避免此潜在问题，可以使用梯度投影法，这是机器人技术中的经典方法。
• 切换方案
  • 前面描述的分区方法试图通过将各个控制器分配给特定的自由度来优化性能。
  • 使用多个控制器优化性能的另一种方法是设计切换方案，该方案根据要优化的标准在每个时间点选择要使用的控制器。
    • 通过特定的阈值去划分PBVS和IBVS控制器的切换，如果切换阈值选择得当，系统将能够利用 IBVS 和 PBVS 的相对优势，同时避免它们的缺点。
• 特征轨迹规划
  • 考虑跟踪一个移动目标时，控制律的形式是相似的。
  • 在规划阶段，也可以离线处理优化问题。在这种情况下，可以同时考虑多个约束，例如避障 [38]、关节限制和遮挡避免，以及确保目标可见性 [5]。允许相机达到其所需姿态同时确保满足约束的特征轨迹 s∗(t) 是使用路径规划技术确定的，例如众所周知的势场方法。
    • 将路径规划与轨迹跟踪相结合还可以显著提高视觉伺服对建模误差的鲁棒性。
• 目标跟踪
  • 可以使用 IBVS 和PBVS控制器设计一个简单的开关控制
  • 考虑一个移动目标和一个特征的恒定期望值 s∗ 的情况，推广到不同的期望特征 s∗(t)。
    • 误差时间变化
    • 如果控制律仍设计为试图确保 e 的指数解耦减小（即再次 ̇ e = −λe）由（10）得
  • 把（11）代入（10）得：
    • 误差才会收敛到零
    • 否则将会观察到跟踪误差
    • 一方面，设置高增益 λ 将减少跟踪误差，但另一方面，设置过高的增益会使系统不稳定。因此，有必要使 b 尽可能小。
  • 若已知系统（即摄像机观察到一个静止物体）
    • 则给出的最简单的估计不会出现跟踪误差。否则，自动控制中消除跟踪误差的经典方法包括通过控制律中的积分项补偿目标运动。
    • 在这种情况下，有
      • 该方案仅在目标具有恒定速度时允许消除跟踪误差。其他基于前馈控制的方法通过图像测量和相机速度（如果可用）直接估计项
• 关节空间控制的眼到手系统和手眼系统
  • 如果相机固定在机器人外面的底座上，则称之为“眼在外”（eye to hand） 1. eye in hand，这种关系下，两次运动，机器人底座和标定板的关系始终不变。求解的量为相机和机器人末端坐标系的位姿关系。 2. eye to hand，这种关系下，两次运动，机器人末端和标定板的位姿关系始终不变。求解的量为相机和机器人底座坐标系之间的位姿关系。
  • 在前面的章节中，我们将摄像机速度的六个分量视为机器人控制器的输入。一旦机器人无法实现此运动，例如因为它具有少于六个自由度，则必须在关节空间中表示控制方案。在本节中，将描述如何执行此操作，并在过程中制定一个适用于手到眼系统的公式。
  • 在关节空间中，对于手眼配置和眼到手配置，系统方程具有相同的形式
  • 对于手眼系统 [见图 5(a)]，(∂s/∂ t) 是由于潜在物体运动导致的 s 的时间变化
  • 对于眼到手系统 [见图 5(b)]，(∂s/∂ t) 现在是由于潜在视觉传感器运动导致的 s 的时间变化
    • • 在 (15) 中，末端执行器坐标系中表达的经典机器人雅可比矩阵 N J(q) 被使用，但从视觉传感器坐标系到末端执行器坐标系的运动变换矩阵 c VN 在整个伺服过程中都在变化，并且必须在控制方案的每次迭代中进行估计，通常使用位姿估计方法。
      • 在 (16) 中，机器人雅可比 0J(q) 以机器人参考系表示，空间运动变换矩阵 c X0 从视觉传感器系到该参考系的变换矩阵是常数，只要相机不移动。在这种情况下，在实践中很方便，通常对 c V0 进行粗略近似就足够了。
  • 建模完成，则按照以上程序来设计一个在关节空间中表达的控制方案，并确定足够的条件来确保控制方案的稳定性。我们再次考虑 e = s − s∗，以及 e 的指数解耦下降，得到
    • • 如果k=n，考虑李雅普诺夫函数
        • 全局渐进稳定的充分条件
      • 如果 k > n，我们通过遵循基本 IBVS 的稳定性分析的发展获得：
        • 以确保系统的局部渐近稳定性。
  • 最后，为了消除跟踪误差，必须确保
• 结论
  • 在本教程中，我们只考虑了速度控制器。
    • 然而对于高速任务或当我们处理移动非完整约束或欠驱动机器人时，当然必须考虑机器人的动力学。
  • 至于传感器，我们只考虑了来自经典透视相机的几何特征。
    • 与图像运动相关的特征或来自其他视觉传感器（鱼眼相机、反射镜相机、超声探头等）的特征需要重新审视建模问题以选择适当的视觉特征。
  • 最后，在控制方案级别将视觉特征与来自其他传感器（力传感器、接近传感器等）的数据融合起来，将允许解决新的研究课题。
    • 视觉伺服的众多雄心勃勃的应用也可以考虑，例如用于室内或室外环境中的移动机器人、用于空中、太空和水下机器人的机器人，以及用于医疗机器人的机器人。因此，视觉伺服领域富有成果的研究的终点还遥遥无期。