DSO(稀疏直接法)

史上最全DSO学习资料. DSO（Direct Sparse Odometry）是一种视觉里程计方法。在SLAM领域，DSO属于稀疏直接法，速度和精度超过了当时传统的特征点法。本文整理了网上一些关于DSO的资料，配合相关论文，可以对DSO做由浅入深地学习。

DSO(稀疏直接法)

• ORB-SLAM2[3]，则属于纯特征法，计算结果完全依赖特征匹配
  • 双目https://github.com/HorizonAD/stereo_dso
• 对比：
  • 特征点法通过最小化重投影误差来计算相机位姿与地图点的位置
  • 特征点法则分步求解，即，先通过匹配特征点求出数据之间关联，再根据关联来估计位姿。两步是独立的
    • 解耦的好处，在于能够在位姿不确定的情况下，仅利用图像信息去解数据关联问题。
    • 特征点法则更适和全局的匹配与回环检测。
  • 特征点法需要依赖重复性较强的特征提取器，以及正确的特征匹配，才能得正确地计算相机运动。
    • 环境纹理较好，角点较多时
  • 直接法则最小化光度误差（photometric error）
    • 采样图像内具有强度梯度的像素点
  • 直接法将数据关联（data association）与位姿估计（pose estimation）放在了一个统一的非线性优化问题中
    • 数据关联和位姿估计，在直接法中是耦合的，
    • 直接法理应更擅长求解连续图像的定位
• 边缘化
  • 增加新的关键帧时，就必须扩展H和b的维度
    • 通过相机视野改变、相机平移和曝光时间显著改变这些参数是否达到阈值判断是否是关键帧
  • 去掉某个关键帧（以及它携带的地图点）时，也需要降低H和b的维度
• 几个小概念
  • 活跃点，是指它们在相机的视野中，其残差项仍在参与优化部分的计算；
  • 外点（outlier）
    • 部分残差项会被当作outlier
      • 先前关键帧中的地图点投影到新关键帧中，形成残差项
  • 未成熟的地图点：Immature Points
    • 所有地图点在一开始被观测到时，都只有一个2D的像素坐标，其深度是未知的
  • trace
    • 在每张图像上追踪这些未成熟的地图点
    • 逆深度参数化的Bundle adjustment，每个残差项需要比通常的BA多计算一个雅可比矩阵
      • 为了使用逆深度，每个PointHessian必须拥有一个主导帧（host frame），说明这个点是由该帧反投影得到的。
    • 子主题
• 残差的构成与雅可比
  • 滑动窗口5-7个关键帧构成了一个非线性最小二乘问题
  • 关键帧的状态为8d
    • 6d的运动状态和2d的光度参数
  • 每个地图点的状态变量为一维，即该点在主导帧（Host）里的逆深度。
  • 雅可比
    • 图像雅可比，即图像梯度
      • 依赖图像数据，不够光滑随着迭代更新。这种做法称为First-Estimate-Jacobian（FEJ）
    • 几何雅可比，描述各量相对几何量，例如旋转和平移的变化率；
    • 光度雅可比，描述各个量相对光度参数的雅可比
    • 仅计算一次
      • FEJ强制让每个点在同一个时刻线性化，从而回避了零空间降维的问题，同时可以降低很多计算量
  • SSE（Super Strong Erection）
    • 八维残差由这个点与周围几个点组成的Pattern定义
    • 实际上假设了这八个点在不同图像中保持灰度不变。并且，它们在优化中共享中间点的深度，不能简单地看成八个独立的点。
• 优化
  • Gauss-Newton或Levernberg-Marquardt
  • Hessian矩阵
    • 雅可比、权重和残差构成的乘积
      • 这个矩阵在整个优化过程中都会一直维护于内存中
      • 之后的优化可以利用先前的结果，或者说，先前的优化为下一步提供了先验
  • 边缘化
    • 通过图优化构建这个H；
    • 用高斯消元法（即舒尔补）将右下角部分消元：
    • DSO的左上角部分，B不是对角块包含先验信息
      • 边缘化某个点时，这个点的共视帧之间产生先验
      • 边缘化某个帧时，在窗口内其他帧之间产生先验；
    • 永久边缘化
      • 它被边缘化时，我们将它的信息传递到了之后的先验中，而不会再利用这个点/这个帧了
      • 如果一个点已经不在相机视野内，就边缘化这个点
      • 如果滑动窗口内的帧数量已经超过设定阈值，那么选择其中一个帧进行边缘化
      • 当某个帧被边缘化时，以它为主导的地图点将被移除，不再参与以后的计算。否则这个点将与其他点形成结构先验，破坏BA中的稀疏结构
      • DSO维护了帧与帧间的先验信息（见EnergyFunctional::HM和bM），并将这些信息利用到BA的求解中去。
  • 零空间
    • 如果在这个子空间内改变状态变量的值，不会影响到优化的目标函数取值。
      • 在SLAM中，GN或LM优化过程中，状态变量事实上是存在零空间（nullspace）的
    • 纯视觉SLAM中，典型的零空间就是场景的绝对尺度，以及相机的绝对位姿
      • 如果将相机和地图同时扩大一个尺度，或者同时作一次旋转和平移，整个目标函数应该不发生改变
    • 零空间的存在也会导致在优化过程中，线性方程的解不唯一。尽管每次迭代的步长都很小，但是时间长了，也容易让整个系统在这个零空间中游荡，令尺度发生漂移。
• 缺点
  • 在图像质量不佳或者相机初始位姿给的不对的情况下无法保证目标函数从初始值到最优值之间一直是下降的
• 资料与参考文献
  • [1]. Engel J, Koltun V, Cremers D. Direct sparse odometry[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017.[2]. Forster, C.; Pizzoli, M. & Scaramuzza, D., SVO: Fast semi-direct monocular visual odometry, Robotics and Automation (ICRA), 2014 IEEE International Conference on, 2014, 15-22.[3]. Mur-Artal, R.; Montiel, J. & Tardós, J. D. ORB-slam: a versatile and accurate monocular slam system, IEEE Transactions on Robotics, IEEE, 2015, 31, 1147-1163.[4]. Bowman, S. L.; Atanasov, N.; Daniilidis, K. & Pappas, G. J. Probabilistic data association for semantic SLAM Robotics and Automation (ICRA), 2017 IEEE International Conference on, 2017, 1722-1729.[5]. Civera, J.; Davison, A. J. & Montiel, J. M. Inverse depth parametrization for monocular SLAM, IEEE transactions on robotics, IEEE, 2008, 24, 932-945.[6]. Engel, J.; Sturm, J. & Cremers, D. Semi-dense visual odometry for a monocular camera Proceedings of the IEEE international conference on computer vision, 2013, 1449-1456[7]. 高翔, 张涛, 刘毅, 颜沁睿, 视觉SLAM十四讲：从理论与实践,电子工业出版社, 2017[8]. Leutenegger, S.; Lynen, S.; Bosse, M.; Siegwart, R. & Furgale, P. Keyframe-based visual-inertial odometry using nonlinear optimization INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH, 2015, 34: 314-334[9]. Barfoot, T. State Estimation for Robotics: A Matrix Lie Group Approach, Cambridge University Press, 2017[10]. SLAM中的marginalization 和 Schur complement[11]. DSO之光度标定 - 路游侠 - 博客园