设备多路径DM MULTIPATH

Linux设备多路径学习必备脑图 事半功倍，根据脑图让您更加理解multpathd原理，了解san存储在实际的应用

设备多路径 DM MULTIPATH

• 1. 设备多路径概念
  • 1.1. 作用
    • 若一条 I/O 路径的任一元素（电缆、交换器或者控制器）出现故 障，DM Multipath 就会将它切换到备用路径
  • 1.2. 常见多路径组网
    • 1个HAB卡1条多路径，共1组每组2条多路径
    • 1个HBA卡2条多路径，共2组每组2条多路径
    • 1个HBA卡2条多路径，共1组每组4条多路径
  • 1.3. 阵列默认支持类型
    • 默认支持设备,使用一下命令查询
      • multpathd show config
      • multpath -t
  • 1.4. DM MULTPATH组件
    • dm-multpath kerne内核模块
      • 为路径和路径组重新指定 I/O 并支持故障
    • mpathconf工具程序
      • 配置并启用DM MULTPATH功能
    • multpath命令
      • 列出多路径设备
    • multpathd 守护进程
      • 监视路径，若路径故障会进行IO路径切换
    • kpartx 命令
      • 为设备分区生成多路径，比如sda1
  • 1.5. 基本安装步骤
    • 安装 device-mapper-multipath的rpm包
    • 使用 mpathconf 命令创建配置文件并启用多路径。若无需编辑该配置文件，可使用此命令启动多路径守护程序
    • 如需编辑该配置文件，请编辑 /etc/multipath.conf 配置文件，修改默认值并保存更新的文件
    • 启动多路径守护进程
  • 1.6. 设备多路径创建条件
    • 至少有两个使用同一WWID的路径没有被列入黑名单
    • 用户可使用multipath命令手动强制创建该设备
    • 有与之前创建的多路径设备相同 WWID 的路径（即使那个多路径设备目前不存在）。无论何时，创建多路径设备后，多路径会记住该设备的 WWID，以便在它看到有使用那个 WWID 的路径时即自动再次创建该设备。这可允许您让多路径自动选择正确的路径以便创建多路径设备而无需编辑多路径黑名单
• 2. 多路径设备
  • 2.1. 多路径设备识别符
    • 每个多路径设备都有一个全球识别符WWID 每个实际的磁盘有唯一的WWID，默认通过WWID聚合多路径
    • 多路径设备名
      • WWID作为别名
      • mpathN作为别名
        • 子主题
          • 配置文件的user_friendly_name设置为yes；默认yes
    • 块设备目录
      • /dev/mapper/mapathN
        • 设备是在引导过程中生成的。可使用这些设备访问多路径设备，例如在生成 逻辑卷时。管理员使用多路径设备使用该目录进行操作
      • /dev/dm-n
        • 该目录只用于系统内部调取使用，严禁管理员直接操作
  • 2.2. 多路径设备名称一致性
    • 存在问题
      • 将 user_friendly_names 配置选项设为 yes 时，该多路径设备的名称对于节点来说是唯一的，但不保证对使用多路径设备的所有节点都一致
      • 比如在节点1识别为mpatha，在节点2由于网络延迟等原因可能识别为mpathb
      • 多路径的子块设备如sba、sdb，也可能由于网络原因识别顺序不一样导致设备名称不一样，这个子块问题也存在与其他网络存储的块设备存储
    • 解决办法
      • 设置user_friendly_names选项为no，使用WWID作为别名
      • 将一台机器的配置文件拷贝到其他节点上
  • 2.3. 逻辑卷与多路径
    • 使用了多路径技术后，可以再使用LVM技术
      • 如果多路径名称为 /dev/mapper/mpatha，以下命令可将 /dev/mapper/mpatha 标记为一个物理卷
    • lvm过滤器
      • 过滤掉组成多路径的子块设备，避免mapthN做了物理卷后，子块设备再次做物理卷，导致多路径一直切换
• 3. 配置DM MULTIPATH
  • 3.1. 设置DM MULTIPATH
    • 启用多路径
      • mpathconf --enable
    • 配置文件
      • /etc/multipath
        • 多路径直接调用的配置文件
      • /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf
        • 上面配置文件不在就会在该处拷贝过去‘
  • 3.2. 生成多路径忽略磁盘
    • 将系统内部本地磁盘进行忽略，避免本地磁盘生成多路径；例如本地系统盘、数据盘等
    • 配置文件的blacklist新增该磁盘的WWID，将该磁盘加入多路径黑名单
  • 3.3. 配置存储设备控制器生成多路径
    • 默认支持设备
      • multipath -t
        • 查看默认支持的控制器品牌及型号
    • 自定义设备
      • 编辑/etc/multipath.conf配置文件的devices的vendor、product配置，其余配置按需
• 4. DM MULTIPATH配置文件
  • 4.1. 配置文件概述
    • 配置文件，默认注释有所有选项（选项参数不全），只需要将需要的选项复制到相应模块下即可，配置文件支持正则表达式
    • 配置文件路径，见上面3.2节
    • 配置文件模块
      • blacklist
        • 不被视为多路径的具体设备列表
      • blacklist_exceptions
        • 根据 blacklist 部分中的参数列出不在黑名单中的多路径设备
          • 白名单
      • defaults
        • DM Multipath 的常规默认设置
      • multipaths
        • 各个独立多路径设备的特性设置。这些数值覆盖了在配置文件的 defaults 和devices 部分中指定的数值
      • devices
        • 各个存储控制器的设置。这些数值覆盖了在配置文件的 defaults 部分指定的数值。如果要使用不是默认支持的存储阵列，则可能需要为您的阵列创建 devices 子部分
    • 多路径配置识别顺序
      • multipaths>devices>defaults
  • 4.2. 配置黑名单 backlist
    • 多路径配置文件的 blacklist 部分指定在系统配置多路径设备时不能使用的设备。黑名单中的设备将无法分组到多路径设备中
    • 加入backlist条件
      • 根据WWID
        • wwid XXXXXXXXX
      • 根据设备名称
        • devnode "^sd[a-z]"
      • 根据设备类型
        • device { vendor "IBM" product "3S42" }
          • 将品牌IBM型号3S42加入黑名单
        • device { vendor "HP" product "*" }
          • 将品牌HP所有型号都加入黑名单
    • 黑名单之外的设备 blacklist_exceptions
      • 如果您有大量设备，但只有一个需要多路径（WWID 为 3600d0230000000000e13955cc3757803），您不需要将您想要使用多路径的设备之外的每个设备单独加入黑名单，您只需要将所有设备都加入黑名单，然后在 /etc/multipath.conf 文件中添加以下行以便只允许您想要使用多路径的设备
      • blacklist { wwid "*" } blacklist_exceptions { wwid "3600d0230000000000e13955cc3757803" }
      • 当在配置文件的 blacklist_exceptions 指定设备时，您必须以指定黑名单的相同方法来指定例外情况 比如黑名单使用的WWID限制，白名单也需要使用WWID指定
  • 4.3. 配置文件默认设置 defaults
    • 配置文件包括 defaults 部分
    • 配置参数见官方文档的表4.1
  • 4.4. 配置多路径设备 multipaths
    • 配置文件 multipaths 部分中可为每个特定多路径设备设置的属性，并且能覆盖 multipath.conf 文件中 defaults 和 devices 部分设置的属性
    • 配置参数见官方文档的表4.2
  • 4.5. 配置控制器文件 devices
    • 配置文件 devices 部分的每个独立储存设备能设置 的属性，并且能覆盖 multipath.conf 文件中 defaults
    • 默认支持设备查询
      • # multipathd show config # multipath -t
    • 自定义设备添加
      • 设置dedvice中的vendor和product参数
      • 在/sys/block/device_name/device/vendor 和 /sys/block/device_name/device/model 找到vendor和product参数；device_name是需要添加多路径的磁盘名称
    • 配置参数见官方文档的表4.3
• 5. DM MULTIPATH管理
  • 5.1. 在线生成配置文件
    • https://access.redhat.com/labsinfo/multipathhelper 找
  • 5.2. 多路径命令
    • multipath
      • 多路径配置管理命令
    • multipathd
      • 可使用 multipathd 命令管理 multipathd 守护进程。
      • 进入交互式
        • multipathd -k
    • mpathconf
      • 多路径配置管理命令
    • dmsetup
      • 找出哪个设备映射器条目与多路径的设备映射 显示所有设备映射器设备及其主、副号码。副号码确定 dm 设备的名称