阿里云日志服务 SLS

日志服务 （Simple Log Service，简称 SLS） 是云原生观测分析平台，为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。

阿里云日志服务 SLS

• 产品简介
  • 日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。
  • 功能概览
    • 数据采集
      • 支持Log、Metric、Trace等数据类型，并支持50多种数据源，包括阿里云产品、服务器与应用、物联网设备、移动端、开源软件、标准协议等。
    • 日志存储
      • 支持智能分层存储。数据分层存储时，可降低您长周期存储的成本，同时保证日志的查询、分析、可视化、告警、投递和加工等能力不受影响。
    • 数据加工
      • 提供200多个内置函数、400多个正则表达式、灵活的自定义函数，实现过滤、分裂、转换、富化、复制等效果，满足数据分派、规整、融合等场景。
    • 查询与分析
      • 支持PB级数据实时查询与分析，提供10多种查询运算符、10多种机器学习函数、100多个SQL函数，并支持定时SQL和SQL独享版。
    • 可视化
      • 支持查询与分析结果可视化，提供10多种统计图表，包括表格、线图、柱状图、地图等，并支持基于统计图表自定义仪表盘（支持外嵌与下钻分析）。
    • 告警
      • 提供一站式告警功能，包括告警监控、告警管理、通知（行动）管理等，适用于开发运维、IT运维、智能运维、安全运维、商务运维等多个场景。
    • 消费与投递
      • 支持数据实时消费，适用于Storm消费、Flume消费、Flink消费等场景；支持数据实时投递，适用于将数据投递至OSS、TSDB等云产品。
    • 日志审计
      • 在继承现有日志服务所有功能基础上，还支持多账户下实时自动化、中心化采集云产品日志并进行审计，以及支持审计所需的存储、查询及信息汇总。
• 功能特性
  • 数据采集
    • 支持采集服务器与应用相关的日志、时序数据和链路数据。
    • 支持采集物联网设备日志。
    • 支持采集阿里云产品日志。
    • 支持采集移动端数据。
    • 支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。
    • 支持通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议接入数据。
  • 查询与分析
    • 支持精确查询、模糊查询、全文查询、字段查询。
    • 支持上下文查询、日志聚类、LiveTail、重建索引等功能。
    • 支持标准的SQL 92语法。
    • 提供SQL独享实例。
  • 数据加工
    • 数据规整：针对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数据仓库计算。
    • 数据富化：对日志（例如订单日志）和维表（例如用户信息表）进行字段连接（JOIN），为日志添加更多维度的信息，用于数据分析。
    • 数据流转：通过全球加速功能将海外地域的日志传输到中心地域，实现全球日志集中化管理。
    • 数据脱敏：对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
    • 数据过滤：过滤出关键服务的日志，用于重点分析。
  • 消费与投递
    • 支持通过Splunk、QRadar、Logstash、Flume等第三方软件消费数据。
    • 支持通过Java、Python、GO等语言消费数据。
    • 支持通过函数计算、实时计算、云监控 等阿里云产品消费数据。
    • 支持通过Flink、Spark、Storm等流式计算平台消费数据。
    • 支持将数据投递到OSS、MaxCompute、AnalyticDB、TableStore 等阿里云产品。
  • 可视化
    • 仪表盘内置图表：日志服务为您提供表格、线图、柱状图等多种统计图表，您可以根据分析需求选用合适的图表类型展示查询和分析结果，并将结果保存到仪表盘中。
    • 第三方可视化工具：日志服务支持直接对接Grafana、DataV等第三方图表。
  • 告警
    • 告警监控：支持通过告警监控规则定期检查评估查询和分析结果，触发告警或恢复通知，发送给告警管理系统。
    • 告警管理：支持通过告警策略对所接收到的告警进行路由分派、抑制、去重、静默、合并等操作，然后发送给通知（行动）管理系统。
    • 通知（行动）管理：支持通过行动策略将告警动态分派给特定的通知渠道，再通知给目标用户、用户组或值班组。
  • 日志审计
    • 支持实时自动化、中心化采集多账号下的云产品日志并进行审计。
    • 覆盖基础（ActionTrail、容器服务Kubernetes版）、存储（OSS、NAS）、网络（SLB、API网关）、数据库（关系型数据库RDS、云原生分布式数据库PolarDB-X、PolarDB MySQL云原生数据库）、安全（WAF、DDoS防护、云防火墙、云安全中心）等云产品。
    • 支持自由对接其他生态产品或自有SOC中心。
    • 内置百种告警规则，支持一键式开启，覆盖账户安全、权限管理、存储、主机、数据库、网络、日志等各个方面的合规监控。
• 产品架构和优势
  • 产品架构
  • 产品优势
    • 统一接入
      • 支持多种来源的多种类型数据接入。
    • 智能
      • 提供完整AIOps能力，支持智能异常检测与根因分析能力。
    • 高效
      • 提供千亿级数据实时采集和查询与分析能力。
    • 一站式
      • 提供一站式数据功能，包括数据采集、加工、查询与分析、可视化、告警等。
    • 弹性
      • 提供PB级别数据弹性伸缩能力。
    • 低成本
      • 支持按量付费。您仅需为实际用量付费，总拥有成本（TCO）降低50%以上。
• 应用场景
  • 数据采集与消费
    • 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括Metric、Event、BinLog、TextLog、Click等）。
      • 使用便捷：提供50+实时数据采集方式，让您快速搭建平台；强大配置管理能力，减轻运维负担。
      • 弹性伸缩：无论是流量高峰还是业务增长都能轻松应对。
  • 数据清洗与流计算 （ETL/Stream Processing）
    • 日志中枢（LogHub）支持与各种实时计算及服务对接，并提供完整的进度监控，报警等功能，并可以根据SDK/API实现自定义消费。
      • 操作便捷：提供丰富SDK以及编程框架，与各流计算引擎无缝对接。
      • 监控报警：提供丰富监控数据，以及延迟报警机制。
      • 弹性伸缩：PB级弹性能力，0延迟。
  • 数据仓库对接（Data Warehouse）
    • 日志投递（LogShipper）功能可以将日志中枢（LogHub）中数据投递至存储类服务，过程支持压缩、自定义Partition、以及行列等各种存储格式。
      • 海量数据：对数据量不设上限。
      • 种类丰富：支持行、列、TextFile等各种存储格式。
      • 配置灵活：支持用户自定义Partition等配置。
  • 日志实时查询与分析
    • 实时查询分析（LogAnalytics）可以实时索引LogHub中数据，提供关键词、模糊、上下文、范围、SQL聚合等丰富查询手段。
      • 实时性强：写入后即可查询。
      • 海量低成本：支持PB/Day索引能力，成本为自建方案15%。
      • 分析能力强：支持多种查询手段，及SQL进行聚合分析，并提供可视化及报警功能。