机器人视觉传感

机器人传感系统是机器人与外界进行信息交换的主要窗口，机器人根据布置在机器人身上的不同传感元件对周围环境状态进行瞬间测量，将结果通过接口送入单片机进行分析处理，控制系统则通过分析结果按预先编写的程序对执行元件下达相应的动作命令。

机器人视觉传感

• 传感器
  • 常用的传感器
    • 内传感器
      • 机器人感知自身运动的传感器
        • 调整自身行动
      • 包括位置，速度，加速度传感器
        • 位置传感器
      • 压力传感器
    • 外传感器
      • 机器人检测外部环境和目标的特征，使得机器人人机环境能够发生相互作用
        • 机器人对环境有自适应能力
      • 包括
        • 末端传感器
          • 触觉传感器
        • 环境传感器
          • 接近觉
          • 视觉传感器
          • 超声波传感器
  • 位置传感器
    • 有什么
      • 电阻传感器，电容传感器，电感传感器，光电传感器
    • 怎么选择不同的类型
      • 机器人各关节和连杆的运动定位
        • 精度要求
        • 重复精度要求
        • 运动范围要求
  • 光电编码器
    • 种类
      • 旋转编码器
        • 
        • 绝对型
          • 扫描刻度盘上的二进制码，把二进制码转换为电信号
          • 在一个周期内对于一个角度都有特定的二进制码，输出是唯一的
          • 数字编码，根据旋转角度输出脉冲信号
          • 线性编码，掉电不影响
        • 增量型
          • 编码器转过一个角度输出一个脉冲，通过脉冲的数量来计算旋转的角度，因此编码器输出的位置角度是相对的
          • 旋转角起始位置可以任意设定
          • 通过信号的相位差来判断旋转的方向
            • 正向超前，反向落后
          • 分辨范围强，测量范围大断电有丢失
      • 子主题
    • 应用
      • 电机控制
        • 电机测速
          • 增量测速
      • 检测位置
  • 力觉传感器
    • 定义
      • 从承载方向来分
        • 电阻式
          • 检测物体的弹性形变测量力
        • 电磁式
          • 压磁效应
        • 压电效应
  • 触觉传感器
    • 定义机器手和接触对象上表面的力感觉
    • 分类
      • 触觉开关传感器
        • 用0和1表示接触和不接触
        • 当弹性薄层与物体接触，产生整体下压，下面的光电开关之间原本连通的光束被中断， 在光束被中断时产生一个开关变化信号
      • 压阻阵列触觉传感器
        • 利用弹性材料电阻率随着压力大小变化而变化，将压力信号转化为电信号
      • 电容式触觉传感器
        • 外力作用下使两极板间相对位置发生变化，导致电容变化，通过检测电容变化来确定压力
  • ccd和cmos
    • 基本原理
      • ccd电容耦合器件
      • cmos互补金属氧化物半导体
      • 工作原理
        • pd光电二极管接受光，输出光电流
    • 特点
    • 区别
      • ccd只有少数几个输出节点统一读出，信号输出的一致性好
        • cmos每个像素都有各自的转化器，信号输出一致性差
      • ccd信号噪声小
        • cmos噪声大，扛干扰差
          • 集成度高
      • ccd成本高，功耗大
        • cmos功耗很小
      • 读取速度慢
      • 制造区别：ccd集成在半导体单晶材料上，cmos集成在金属氧化物的半导体材料上
• 视觉
  • 图像形成
    • 图像系统整体
      • 捕获图像→传递图像数据→处理图像→输出结果
      • 捕获图像是最重要的一步
        • 选择透镜
          • 远心镜头畸变系数低，无透视误差，得到图像放大倍率不变，高景深，测量精密
        • 照明系统
      • 相机的工作原理
        • 分割被描述区域，用相应的灰度和色彩填充
      • 相机的参数
        • 色彩
          • 彩色相机灵敏度低，清晰度低
        • 像素=分辨率
          • 像素越高，分辨率越大，照片越清晰，但是分辨率越高，像素点越多，软件运行困难
        • 输出帧率
          • 帧速不能过低
      • 光源
        • 要求
          • 核心在于对比度最大化
            • 避免阴影
            • 避免过亮
            • 避免光线变化
            • 避免外界影响
    • 相机标定
      • 1.计算机视觉中，利用拍的图像来计算三维空间中被测物体的几何参数 2.图像上每一个灰度点代表了空间物体表面某点的反射光的强度，该点在图像上的位置与对应点的几何位置有关，这些位置的相互关系，由摄像机成像系统的几何投影模型决定 3.三维空间中的物体到像平面的投影关系为成像模型，理想的成像模型是光学的中心投影，小孔成像
      • 标定过程就是确定摄像机的内外参数和畸变参数，摄像机相对于世界坐标系的方位
        • 只有标定好图像，才能进行后续图像传输图像处理图像输出等工作的展开
      • 过程
        • 世界坐标系
          • 刚体变换
            • 只通过旋转矩阵和平移矩阵改变空间位置不改变形状
              • 取决于相机的外参
                • 也就是旋转矩阵3个分量和平移矩阵三个分量
        • 相机坐标系
          • 透视投影
            • 变化与焦距f有关，原理是三角形相似
        • 理想图像坐标系
          • 畸变校正
            • 畸变来源
              • 径向畸变来源于透镜形状，离中心越远形变越大
              • 切向畸变来源于整个摄像机的组装过程
            • 畸变算法
              • 线性
                • 速度快，精度不高
              • 非线性
                • 精度高，计算量大
              • 两部
                • 参数求解简单，标定成本高
                • 张正友
                  • 一张打印出来的棋盘格，从不同方向拍几组照片
        • 真实图像坐标系
          • 数字化图像
            • 坐标的平移
              • 内参是f和u结合的矩阵
        • 数字化坐标系
      • 应用
        • 测量
          • 哈夫变换
            • 线段测量
              • 例题
                • 
                • 通过Harris角点法确定角点
                  • 角点沿任意方向移动，灰度发生很大的变化
                • 边缘提取
                • 结合边缘，确定角点精确位置
                • 计算线段长度
            • 圆测量
            • 子主题
  • 图像处理
    • 图像基本要素
      • 图像的概念
        • 物体在平面坐标下的直观再现
        • 模拟图像
        • 数字图像
          • 计算机存储的数据记录图像的各店信息
      • 数字图像的要素
        • 像素
          • 位置坐标和幅值
        • 颜色
          • 可由红绿蓝三种基本色混合得到
        • 精度
        • 灰度
          • 灰度级分辨率
            • 颜色深度，深度越大能表示的颜色数目越多
        • 对比度
        • 饱和度
    • 图像的运算
      • 
      • 基本运算
        • 点运算
          • 灰度变换
            • 点运算可以改变图像数据所占据的灰度值范围，从而改善图像显示效果
          • 对比度增强
            • 灰度变换增强
              • 线性
              • 分段
              • 非线性
            • 直方图增强对比度
              • 直方图
                • 是图像中具有该灰度级的像素的个数
                • 横坐标
                  • 灰度级
                • 纵坐标
                  • 灰度级出现的频率
              • 局部化
        • 代数运算
          • 加运算
            • 运用
              • 生成图像叠加效果
              • 除去“叠加性”随机噪音
          • 减运算
            • 运用
              • 提供了 图像间的差值信息
                • 监控自动报警的依据
              • 能够指导动态监测
                • 图像背景的消除
                • 目标识别
                  • 运动目标的检测和跟踪
          • 乘
            • 图像的局部显示
            • 原图像做乘法改变图像的灰度级
          • 除
            • 校正成像设备的非线性影响
            • 检测两幅图像之间的差别，比率变化
        • 逻辑运算
          • 与
          • 或
        • 几何运算
          • 位置变换
            • 平移镜像和旋转
          • 形状变化
            • 大小变化
              • 放大
                • 放大后会出现空格，需要对空格进行插值
                • 插值方法
                  • 最近邻插值
                    • 计算量小，但会造成灰度不连续，锯齿状
                    • 将距离代求像素最近的灰度赋值给代求像素
                  • 双线性插值
                    • 在xy方向各进行一次线性插值
                    • 子主题
                  • 双三次插值
                    • xy方向通过矩形网格中的采样点加权平均得到，三次多项式
        • 图像平滑和锐化
          • 图像的噪声
            • 来源
              • 图像的获取
              • 传输过程
            • 种类
            • 噪声的抑制方法
              • 空域滤波
                • 均值滤波器
                • 中值滤波器
                • 比较
                  • 中值滤波去椒盐噪声效果好
                    • 椒盐噪声是幅值近似相等但是随机分布在不同位置上，图像中有干净点有污染点 中值滤波是选择适当的点的值来替代污染点的值
                    • 模糊轻微，边缘保留好
                  • 对于高斯噪声，均值滤波好
                    • 高斯滤波幅值近似正态分布 每点都是污染点，中值滤波找不到合适的干净的点
                    • 高斯噪声均值为0
              • 频率滤波器
                • g=hf
                  • h是不同的频率滤波器
                  • 频率去噪的同时，会使边缘信息损失，而且存在振铃效应，计算量大
                  • 主要处理空间域的某些信息
      • 图像形态学
        • 基本概念
          • 基本思想
            • 利用结构元来测量或者提取输入图像中相应的形状和特征
        • 形态学基本运算
          • 腐蚀
            • 
            • 使图像缩小
          • 膨胀
            • 使图像扩大
          • 开运算
            • 先进行腐蚀运算再进行膨胀运算
            • 使图像轮廓光滑，断开狭窄连接，去除尖锐部分
          • 闭运算
            • 先膨胀再腐蚀
            • 消除细小空洞，填补细小空纹
    • 运算的应用场景
      • 图像分割
        • 定义
          • 根据灰度，彩色，形状等特征把图像划分为若干的区域，要求在区域内，表现出一致性，区域外表现出明显的不同
        • 方法
          • 基于边缘检测
            • 算法思想
              • 确定图像中的边缘像素
                • 边缘
                  • 图像灰度发生空间突变的集合
                • 方向
                  • 边缘走向，像素值变化比较平缓
                  • 垂直于边缘走向，像素值变化剧烈
              • 连接边缘像素成边界
                • hough变换
            • 特点
              • 定位准确，速度快
              • 不能保证边缘的封闭性和连续性
          • 基于阈值
            • 限制
              • 要求图像中组成感兴趣的对线灰度值均匀且与背景不一样
            • key
              • 选取阈值
                • 不当选取
                  • 阈值低，亮区好
                  • 阈值高，暗区好
                • 方法
                  • 直方图
                    • 存在一个目标和背景
                  • 自适应阈值法
                    • 局部特点采用不同阈值进行分割
                      • 对噪声敏感
                  • 最大类间方差法
            • 很少考虑空间限制，阈值选择收到限制
          • 基于区域
            • 利用图像的空间性质，认为分割出来的属于同一区域的像素应该有相同的性质
            • 算法
            • 方法
              • 区域增长法
                • 算法思想
                  • 相似像素结合起来构成区域
                    • 选择种子像素
                    • 确定将相似像素包含进来的准则
                    • 制定生长停止的准则
                      • 
              • 区域分裂合并法
                • 
                • 先分裂
                  • 计算均值和方差
                  • 方差大于设定值M就需要再分裂
                • 再合并
                  • 根据灰度差值或者灰度差值的平均值进行合并
          • 基于形态学分水岭
            • 灰度值对应地形高度值
              • 高灰度值对应山峰 低灰度值对应山谷
              • 分水岭
                • 灰度变化最大的区域
              • 吸水盆地
            • 噪声干扰→过度分割→分割无效
      • 缺陷检测
        • knn方法
          • K nearest neighbor
          • 计算方法
            • 选择参数k
            • 计算未知样本和已知样本的相似度（距离）
              • 距离越小越相似
            • 对相似度进行排序，选择最小的k个样本
            • 少数服从多数，确定类型
        • 朴素贝叶斯方法
          • 贝叶斯网络是有向无环图
        • svm方法
        • 连接的分类方法
  • 图像识别
• 控制
  • PID控制
  • 力控制
    • 力控制原理
      • 通过力传感器检测与外部环境的接触力，设计力控制器计算位置修调量
    • 间接力控制
      • 通过运动控制实现对力的控制，不需要力反馈闭环
      • 顺应控制
        • 机器人末端执行器受到外部环境约束，通过对机器人刚度进行调整实现的位置和力双重控制
        • 被动顺应控制
        • 主动顺应控制
        • kq的元素应该注意什么
          • kq是刚度矩阵
          • 元素值与环境几何和机械特征相关，
          • 取值大是顺着环境的方向
            • 取值小是逆着环境的方向
        • 世界坐标系，工具坐标系和用户坐标系
          • 世界坐标系是固定在空间的标准直角坐标系
          • 工具坐标系是指定义在工具中心点 的位置和工具姿态的坐标系
          • 用户坐标系是操作者对每个作业空间自行定义的直角坐标系
      • 阻抗控制
        • 阻抗控制
          • 阻抗定义
            • 阻抗是电阻电感电容对电流的阻碍作用
              • 机械系统是阻尼刚度和质量对速度的阻碍作用
          • 特点
            • 构建了交互力和速度或位置的动态关系
              • 调节运动
              • 如何构建
                • 关键在于确定MBK
                  • 惯量M越大，稳定接触力越大，越小，稳定接触力越小，选取合适M使系统保持稳定
                  • B是阻尼参数，增大b会使力的超调量减小，力峰值下降，过大阻尼会使力响应到达稳定的时间变慢
                  • K是反映机械手刚度变化的量，调整反映机械手与环境接触是呈现刚还说柔的特性。K减小接触力，k增大会增大接触力
          • 过程
            • 阻抗控制是位置偏差计算组抗力的大小，并且由内环控制器实现对力的跟踪控制
              • 包括了内环的关节力控制
                • 确保系统接触力是期望力
              • 外环的位置控制
                • 位置追踪
              • 阻抗控制是基于位置的力控
                • 根据速度，位置加速度的误差产生力跟踪器的期望力，误差越大，期望力越大
          • 例子康复医疗机器人
            • 阻抗控制器
            • 空间变化
            • 正运动学将力转换为运动
          • 目标调节机器人阻抗
        • 导纳控制
          • 区别
            • 阻抗型系统是输入位置速度加速度，输出阻力
            • 导纳系统是输入期望的力矩，通过力矩的误差大小得到位置控制器的期望值，控制系统输出位置的控制
              • 外环进行力跟踪，根据力的误差产生位置跟踪器
              • 内环确保系统输出期望位置
                • 逆动力学问题得到反馈力
              • 基于力的位置控制
            • 输出输入的不同
            • 阻抗控制机械臂的运动，运动受到干扰，输出一个反向的力，先规划运动，再由运动偏移量决定反力
            • 导纳控制由反力决定运动
    • 直接力控制
      • 通过力反馈闭环来控制接触力达到期望数值 两种状态：全自由和全约束
      • 力/位混合控制
      • 包含运动环
  • 视觉运动控制
    • 双目立体视觉是机器视觉中获得三维信息的主要手段
    • 视觉检测
      • 支持向量机
    • 视觉跟踪
    • 视觉伺服控制
      • 基于位置的视觉伺服
        • 
      • 基于图像的视觉伺服
        • 
      • 混合视觉伺服
        •