VN大促梳理

这是一篇关于VN大促梳理的思维导图。介绍了业务调用核心链路、容量预估、核心服务、外部依赖几个方面的内容，供大家学习参考。

VN现状梳理

• 业务调用核心链路
  • 根据该界面配置的，不同的city不同的业务流程不一样http://gqaadmin.gofast.vn/ConfigHr/
    • 先登录now系统huodecookie https://gqa.test.now.vn/
  • 并发场景
    • 派单各个流程是串行调用的
    • 无高并发场景
    • 多个地区会一起调用，大约20个地区，会存在一定的并发量，但不大
• 容量预估
  • 需统计各接口的qps
    • 暂未知
  • 单次调用受订单个数和骑手个数影响
    • 订单数
      • 未做截断
    • 骑手数
      • 派单服务中骑手数截断，最大100个
      • grouping中未做截断
  • 找业务那边问下订单量
    • 供参考： https://confluence.shopee.io/pages/viewpage.action?pageId=595344899
• 核心服务&外部依赖
  • ds-batch-assigment （6 docker）
    • http://batch-assignment.qa.svc.cluster.local/batch_assignment
  • ds-stacking-assignment (6 docker)
    • http://stack-assignment.qa.svc.cluster.local/stack_assignment
      • 依赖 ds-route-engine (计算martix距离)
        • 缺监控
          • 是否有日志可以分析TODO
          • 子主题
        • 容量预估
          • 矩阵最大有多大，是否有限制
          • qps多少:与batch相同，没有高并发场景
  • ds-sameday-grouping (8 docker)
    • http://sameday-pooling.qa.svc.cluster.local/pooling
  • Now-route-engine (服务本身不归我们维护)
    • 缺监控
      • 看日志，
        • now_route_engine_car_request_success
        • now_route_engine_bike_request_success
    • 容量预估
      • 矩阵最大有多大，是否有限制
      • qps （有高并发场景）
        • table 接口70个/s
        • 其他三个接口错误率 TODO
  • mutidrop-off
    • 无流量，不需要管
• 大促预案
  • 预案场景
    • 资源过载
      • CPU
      • 内存
      • rt
    • 错误率
    • 超时率
    • 服务不可用
  • 预案方案
    • 限流
    • 扩容
    • 服务降级
    • 重启
  • 监控告警
    • 监控体系
      • 服务器指标
        • 运维侧搞定
      • 系统指标
        • 中间件使用情况
        • 外部调用情况
      • 业务指标
        • 关键节点调用是否中断
        • 走降级情况
        • 运单/骑手个数
        • qps
        • 耗时情况
      • 数据库
    • 已有监控（现状）
      • ds-batch-assigment
        • https://grafana.prod.now.vn/d/seGSXhBZk/ds-batch-assignment?orgId=1&from=now-7d&to=now
      • ds-stack-assignment
        • https://grafana.prod.now.vn/d/AD3-l0hMkdriver/driver-ds-stack-assignment?orgId=1&from=now-7d&to=now&var-cluster=k8s-prometheus&var-city=217&var-order_category=0
      • ds-sameday-pooling
        • https://grafana.prod.now.vn/d/seGSXhBZksameday/ds-sameday-pooling?orgId=1
    • 监控缺失
      • 三个服务监控面板指标说明
      • ds-route-engine
        • 调用的qps
        • 降级次数统计
      • now-route-engine
        • qps及耗时统计
        • 各接口错误率统计
          • 4个接口
      • 服务接口调用qps /接口耗时情况/接口超时/接口错误码等情况统计面板
        • 参考业务侧做法：https://grafana.prod.now.vn/d/W-3wuZJmz/k8s-foody-general?orgId=1&refresh=30s
      • 告警指标和规则设立
• TODO
  • 跟进监控分阶段现象的问题
    • 业务侧调用 ds_batch_assignment 的时候，有个模型选择的参数ml,每个半小时会更换 ml 参数,走模型的时候耗时比较长，而这个模型本身没有上线，目前对业务本身无影响
  • 监控告警补齐
    • 业务侧已计划9.9之前做相关监控，我们这边也会做，暂未沟通具体安排，待持续跟进
  • 跟业务侧预案融合到一起,放到一个excel里面
    • done
      • https://docs.google.com/spreadsheets/d/1W16fW0A32EUvPEzpkf_f05ZEZ_Nvs1fjr-sUwNqYRiA/edit#gid=762256947
  • 订单量预估
    • 业务侧根据7.7大促的订单量乘以1.5作为本次大促容量
      • 7.7大促容量详细：https://confluence.shopee.io/pages/viewpage.action?pageId=595344899