阿里云数据库在双11中的黑科技

阿里云数据库在双11中的黑科技:

双11数据库混部技术

容器化和存储计算分离,使得数据库无状态化,具备调度能力。在双11高峰,通过将共享存储挂载到不同的计算集群(离线集群),实现数据库的快速弹性。

数据库在双11中的黑科技

X-KV在双11中的应用

X-KV是基于官方MySQL Memcached plugin的增强,今年我们做了大幅度的改进,支持更多数据类型,支持非唯一索引、组合索引,multi get功能,还支持Online Schema change。最大变化是通过TDDL支持SQL转换。对于业务方,X-KV优势是超高读取性能,数据强一致,减少应用响应时间,降低了成本,同时因为支持SQL,应用可以透明迁移,使用成本大幅降低。

TDDLfor X-KV实现了如下功能:

  • 独立的连接池:SQL和KV连接池相互独立;变更时,两套连接池保持协同一致;应用可以快速在两套接口之间切换。
  • 优化的KV通信协议:不再需要分隔符,协议实现。
  • 结果集自动类型转换:字符串自动转换为MySQL类型。

交易卖家库的性能瓶颈解决方案

随着双11交易量增长,近两年交易买家库和卖家库的同步延时一直比较大,导致商户不能及时处理双11订单;且卖家库有大量复杂的查询,性能差。我们曾经通过为大卖家设置独立队列、同步链路合并操作和卖家库限流等进行优化,但仍然没有完全解决问题。

ESDB是基于ES打造的分布式文档数据库,我们在ElasticSearch的基础上,支持了SQL接口,应用可以从MySQL无缝迁移到ESDB;针对大卖家,提供动态二级散列功能,彻底解决了数据同步的性能瓶颈,而且ESDB还可以提供复杂的查询能力。

数据库监控系统演进

数据库监控系统的技术挑战具体有以下四点:

1. 海量数据:平均每秒1000万项监控指标,峰值1400万;
2. 复杂的聚合逻辑:地域、机房、单元、业务集群、数据库主备等多维度数据聚合;
3. 实时性要求高:监控盯屏需要立即看到上一秒的监控数值;
4. 计算资源:占用尽可能少的资源进行采集和计算。

整个链路经历三代架构:第一代Agent + MySQL;第二代Agent + datahub + 分布式NoSQL;第三代Agent + 实时计算引擎 + HiTSDB

HiTSDB是阿里自研的时序型数据库,非常适合存储海量的监控类数据。通过实时计算引擎将秒级性能数据、全量SQL运行状况进行预先处理后,存储在HiTSDB中。通过第三代架构,实现了双11高峰不降低的秒级监控能力,这对我们了解系统运行状况、诊断问题是非常有帮助的。

CloudDBA在双11中的应用

阿里拥有业界最富有经验的DBA,海量的性能诊断数据。我们的目标是把阿里DBA的经验、大数据和机器智能技术结合起来,目标是三年后不再需要DBA做数据库诊断、优化等工作,而是让机器来完成数据库的智能化管理。我们认为自诊断、自优化、自运维是未来数据库技术发展的重要方向。

CloudDBA在今年双11也做了一些探索,通过对全量SQL以及监控数据的分析,我们实现了SQL自动优化(慢SQL调优)、空间优化(无用表无用索引分析)、访问模型优化(SQL和KV)和存储空间增长预测等功能。

展望明年双11

展望明年的双11,我总结了三个关键词:Higher,Faster,Smarter

  • Higher意味着更高的交易峰值,背后其实是更低成本的追求,用极致的弹性能力支持更高的峰值,给用户最好的购物体验,希望有一天可以做到不限流。
  • Faster是我们技术人一直不变的追求,更快的应用系统、更快的数据库,更快的存储,更快的硬件等等。天下武功,唯快不破。
  • Smarter是机器智能在双11中的应用,不管是数据库、调度、个性化推荐甚至客服等方面,我们都希望机器智能可以得到更多的应用,产生更大的技术突破。

注意:本站非阿里云官网,内容仅供参考,请以阿里云官网为准;

①购买先领券; ②结算加购物车满减最高5000元; ③最便宜云服务器优惠2折入口; ④最值得高性能特惠入口