腾讯云TDSQL介绍

个人总结的腾讯云TDSQL的功能总结和产品介绍。希望能给大家带来帮助，欢迎评论、点赞、转发~

TDSQL

• 概述
  • 分布式数据库 TDSQL（ TencentDB for TDSQL，TDSQL）是部署在腾讯云公有云上的一种支持自动水平拆分的 share nothing 架构的分布式数据库。分布式数据库即业务获取是完整的逻辑库表，后端却将库表均匀的拆分到多个物理分片节点。目前，TDSQL 默认部署主备架构且提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，适用于 TB 或 PB 级的海量数据库场景。
• 产品优势
  • 超高性能
    • 单分片最大性能可达超24万 QPS，整个实例性能随着分片数量增加线性扩展。
    • 不存在中间件 + 数据库方案中的性能瓶颈，即 TProxy 也可以做线性扩展。
    • 强同步性能与异步同步相当，能让您在数据不丢失的情况下，也拥有较高的性能。
  • 专业可靠
    • 经过腾讯各类核心业务10余年大规模产品的验证，包括社交、电商、支付、音视频等。
    • 提供完善的数据备份、容灾、一键升级等功能。
    • 完善的监控和报警体系，大部分故障都通过自动化程序处理恢复。
    • 支持分布式数据库领域领先功能，如分布式多表 JOIN、小表广播、分布式事务、SQL 透传等。
  • 简单易用
    • 除少量语法与原生 MySQL、MariaDB 不同外，使用起来如使用单机数据库，分片过程对业务透明且无需干预。
    • 兼容 MySQL 协议（支持 MySQL、MariaDB 等内核）。
    • 支持 Web 控制台，读写分离能力、专有运维管理指令等。
• 应用场景
  • 大型应用（超高并发实时交易场景）
    • 电商、金融、O2O、社交应用、零售、SaaS 服务提供商，普遍存在用户基数大（百万级或以上）、营销活动频繁、核心交易系统数据库响应日益变慢的问题，制约业务发展。
    • TDSQL 提供线性水平扩展能力，能够实时提升数据库处理能力，提高访问效率，峰值 QPS 达1500万+，轻松应对高并发的实时交易场景。微信支付、财付通、腾讯充值等都是使用的 TDSQL 架构的数据库。
  • 物联网数据（PB 级数据存储访问场景）
    • 在工业监控和远程控制、智慧城市的延展、智能家居、车联网等物联网场景下，传感监控设备多、采样率高、数据规模大。通常存储一年的数据就可以达到 PB 级甚至 EB，而传统基于 x86 服务器架构和开源数据库的方案根本无法存储和使用如此大的数据量。
    • TDSQL 提供的容量水平扩展能力，以及 tokudb 等存储引擎的压缩能力，可以有效的帮助用户以低成本（相对于共享存储方案）存储海量数据。
  • 文件索引（万亿行数据毫秒级存取）
    • 一般来说，作为云服务平台，存在大量的图片、文档、视频数据，数据量都在亿级 - 万亿级，服务平台通常需要将这些文件的索引存入数据库，并在索引层面提供实时的新增、修改、读取、删除操作。
    • 由于服务平台承载着其他客户的访问，服务质量和性能要求极高。传统数据库无法支撑如此规模的访问和使用，TDSQL 超高性能和扩展能力并配合强同步能力，有效的保证平台服务质量和数据一致性。
  • 高性价比商业数据库解决方案
    • 政务机构、大型企业、银行等行业为了支持大规模数据存储和高并发数据库访问，对小型机和高端存储依赖极强。而互联网企业通过低成本 x86 服务器和开源软件即可做到商业数据库相同甚至更高的能力。
    • TDSQL 适用于诸如国家级或省级业务系统汇聚、大型企业电商和渠道平台、银行的互联网业务和交易系统等场景。
• 基本原理
  • 水平分表
    • 概述
      • 水平拆分方案，实际上是分布式数据库的基础原理，他的每个节点都参与计算和数据存储，且每个节点都仅计算和存储一部分数据。因此，无论业务的规模如何增长，我们仅需要在分布式集群中不断的添加设备，用新设备去应对增长的计算和存储需要即可。
    • 水平切分
    • 水平切分（分表）：是按照某种规则，将一个表的数据分散到多个物理独立的数据库服务器中，形成“独立”的数据库“分片”。多个分片共同组成一个逻辑完整的数据库实例。
    • 常规的单机数据库中，一张完整的表仅在一个物理存储设备上读写。
    • 分布式数据库中，根据在建表时设定的分表键，系统将根据不同分表键自动分布到不同的物理分片中，但逻辑上仍然是一张完整的表。
    • 在 TDSQL 中，数据的切分通常就需要找到一个分表键（shardkey）以确定拆分维度，再采用某个字段求模（HASH）的方案进行分表，而计算 HASH 的某个字段就是 shardkey。 HASH 算法能够基本保证数据相对均匀地分散在不同的物理设备中。
    • 写入数据（ SQL 语句含有 shardkey ）
      • 业务写入一行数据。
      • 网关通过对 shardkey 进行 hash。
      • 不同的 hash 值范围对应不同的分片（调度系统预先分片的算法决定）。
      • 数据根据分片算法，将数据存入实际对应的分片中。
    • 数据聚合
      • 数据聚合：如果一个查询 SQL 语句的数据涉及到多个分表，此时 SQL 会被路由到多个分表执行，TDSQL 会将各个分表返回的数据按照原始 SQL 语义进行合并，并将最终结果返回给用户。
      • 读取数据（有明确 shardkey 值）
        • 业务发送 select 请求中含有 shardkey 时，网关通过对 shardkey 进行 hash。
        • 不同的 hash 值范围对应不同的分片。
        • 数据根据分片算法，将数据从对应的分片中取出。
      • 读取数据（无明确 shardkey 值）
        • 业务发送 select 请求没有 shardkey 时，将请求发往所有分片。
        • 各个分片查询自身内容，发回 Proxy 。
        • Proxy 根据 SQL 规则，对数据进行聚合，再答复给网关。
  • 读写分离
    • 基本原理
      • 读写分离基本的原理是让主节点（Master）处理事务性增、改、删操作（INSERT、UPDATE、DELETE），让从节点（Slave）处理查询操作（SELECT）。
    • 只读账号
      • 只读帐号是一类仅有读权限的帐号，默认从数据库集群中的从机（或只读实例）中读取数据。
      • 通过只读帐号，对读请求自动发送到备机，并返回结果。
  • 弹性拓展
    • 概述
      • TDSQL 支持在线实时扩容，扩容方式分为新增分片和现有分片扩容两种方式，整个扩容过程对业务完全透明，无需业务停机。扩容时仅部分分片存在秒级的只读或中断，整个集群不会受影响。
    • 扩容过程
      • TDSQL 主要是采用自研的自动再均衡技术保证自动化的扩容和稳定。
      • 新增分片扩容
        • 控制台单击扩容后，系统根据负载和容量计算出 A 节点（实际上可能影响多个节点）存在瓶颈。
        • 根据新加 G 节点配置，将 A 节点部分数据搬迁（从备机）到 G 节点。
        • 数据完全同步后，A、G 节点校验数据库，存在一至几十秒的只读，但整个服务不会停止。
        • 调度通知 proxy 切换路由。
      • 现有分片扩容
        • 基于现有分片的扩容相当于更换了一块更大容量的物理分片。
        • 基于现有分片的扩容没有增加分片，不会改变划分分片的逻辑规则和分片数量。
        • 按需要升级的配置分配一个新的物理分片（以下简称新分片）。
        • 将需要升级的物理分片（以下简称老分片）的数据、配置等同步数据到新分片中。
        • 同步数据完成后，在腾讯云网关做路由切换，切换到新分片继续使用。
  • 强同步
    • 背景
      • 传统数据复制方式有如下三种：
        • 异步复制：应用发起更新请求，主节点（Master） 完成相应操作后立即响应应用，Master 向从节点（Slave）异步复制数据。
        • 强同步复制：应用发起更新请求，Master 完成操作后向 Slave 复制数据，Slave 接收到数据后向 Master 返回成功信息，Master 接到 Slave 的反馈后再应答给应用。Master 向 Slave 复制数据是同步进行的。
        • 半同步复制：正常情况下数据复制方式采用强同步复制方式，当 Master 向 Slave 复制数据出现异常的时候（Slave 不可用或者双节点间的网络异常）退化成异步复制。当异常恢复后，异步复制会恢复成强同步复制。
    • 存在问题
      • 当 Master 或 Slave 不可用时，以上三种传统数据复制方式均有几率引起数据不一致。
      • 数据库作为系统数据存储和服务的核心能力，其可用性要求非常高。在生产系统中，通常都需要用高可用方案来保证系统不间断运行，而数据同步技术是数据库高可用方案的基础。
    • 解决方案
      • MAR 强同步复制方案是腾讯自主研发的基于 MySQL 协议的异步多线程强同步复制方案，只有当备机数据完全同步（日志）后，才由主机给予应用事务应答，保障数据正确安全。
      • 原理示意图如下：
        • MAR 强同步方案在性能上优于其他主流同步方案，具体数据详情可参见 强同步性能对比数据。主要特点如下：
        • 一致性的同步复制，保证节点间数据强一致性。
        • 对业务层面完全透明，业务层面无需做读写分离或同步强化工作。
        • 将串行同步线程异步化，引入线程池能力，大幅度提高性能。
        • 支持集群架构。
        • 支持自动成员控制，故障节点自动从集群中移除。
        • 支持自动节点加入，无需人工干预。
        • 每个节点都包含完整的数据副本，可以随时切换。
        • 无需共享存储设备。
• 实例架构
  • 如图：
• 计费概述
  • 购买，续费和升级等详见官网在线文档
• 操作指南
  • 操作指南详见官网在线文档