如何发现或处理集群变黄或红

ElasticSearch 集群运维常用变红,变黄情况处理流程

如何发现处理集群变黄变红

• 状态处理
  • 红
    • red表示不是所有的主分片都可用
      • 定位哪个索引
        • curl GET http://{ESIP}:9200/_cluster/health?level=indices
      • 定位哪个节点
        • 恢复节点
        • 删除节点
          • -- DANGLING_INDEX_IMPORTED情况下无法恢复
        • reroute 索引
  • 黄
    • 不是所有副本分片都可用
      • 定位索引
        • curl GET http://{ESIP}:9200/_cluster/health?level=indices
          • delete , move, reroute
      • 定位节点
        • 恢复节点
        • 减少副本
          • PUT mytest/_settings { "number_of_replicas": 0 }
        • reroute
          • curl -XPOST '{ESIP}:9200/_cluster/reroute' -d '{ "commands" : [ { "allocate" : { "index" : "eslog1", "shard" : 4, "node" : "es1", "allow_primary" : true } } ] }'
• 正常导致变色情况
  • NEW_INDEX_RESTORED:还原数据到一个新索引。
  • INDEX_CREATED: 集群正在创建索引。
  • CLUSTER_RECOVERED: 集群处于重启阶段。
  • CLUSTER_RECOVERED: 集群处于重启阶段。
  • NEW_INDEX_RESTORED:还原数据到一个新索引。
  • EXISTING_INDEX_RESTORED: 还原数据到一个已经关闭的索引。
  • REPLICA_ADDED: 索引的设置被修改，副本数增加。
  • REROUTE_CANCELLED: 由于reroute命令被取消导致有一些分片没有被分配。
  • REINITIALIZED:由于一个分片的状态重新退回到初始化导致。
  • REALLOCATED_REPLICA:副本位置变化导致未分配。
• 发现手段
  • 集群健康状态 GET _cluster/health
    • unassigned_shards
    • initializing_shards
    • relocating_shards
    • delayed_unassigned_shards
  • 所有索引的健康状态
    • GET _cluster/health?level=indices
  • 所有分片级的健康状态
    • GET _cluster/health?level=shards
  • 返回第一个未分配 Shard 的原因
    • GET _cluster/health?level=shards
  • 检查是否有节点离线
    • /_cat/nodes?v
• 明确分片错误的情况
  • ALLOCATION_FAILED: 由于配置原因或者资源问题导致未分配情况。
  • DANGLING_INDEX_IMPORTED: 副本在节点离线情况下被修改，在这个副本回到集群中时会产生此问题。
• 原因预排查
  • 资源问题
    • 节点的磁盘空间不足可能导致相关分片无法分配，解决方法是增加新节点或者修改分片方案
    • 需要对磁盘及资源进行预测