数据库学习高并发数据库设计

一、库分表

在redis,memcached等缓存系统盛行的互联网时代,构建一个支撑每秒十万只读的系统并不复杂,无非是通过一致性哈希扩展缓存节点,水平扩展web服务器等。支付系统要处理每秒十万笔订单,需要的是每秒数十万的数据库更新操作(insert加update),这在任何一个独立数据库上都是不可能完成的任务,所以我们首先要做的是对订单表(简称order)进行分库与分表。

在进行数据库操作时,一般都会有用户ID(简称uid)字段,所以我们选择以uid进行分库分表。

分库策略我们选择了“二叉树分库”,所谓“二叉树分库”指的是:我们在进行数据库扩容时,都是以2的倍数进行扩容。比如:1台扩容到2台,2台扩容到4台,4台扩容到8台,以此类推。这种分库方式的好处是,我们在进行扩容时,只需DBA进行表级的数据同步,而不需要自己写脚本进行行级数据同步。

光是有分库是不够的,经过持续压力测试我们发现,在同一数据库中,对多个表进行并发更新的效率要远远大于对一个表进行并发更新,所以我们在每个分库中都将order表拆分成10份:order_0,order_1,….,order_9。

最后我们把order表放在了8个分库中(编号1到8,分别对应DB1到DB8),每个分库中10个分表(编号0到9,分别对应order_0到order_9),部署结构如下图所示:

根据uid计算数据库编号:

数据库编号=(uid/10)%8+1

根据uid计算表编号:

表编号=uid%10

当uid=时,根据上面的算法,其实是把uid分成了两部分和7,其中模8加1等于1为数据库编号,而7则为表编号。所以uid=的订单信息需要去DB1库中的order_7表查找。具体算法流程也可参见下图:

有了分库分表的结构与算法最后就是寻找分库分表的实现工具,目前市面上约有两种类型的分库分表工具:

1.客户端分库分表,在客户端完成分库分表操作,直连数据库

2.使用分库分表中间件,客户端连分库分表中间件,由中间件完成分库分表操作

这两种类型的工具市面上都有,这里不一一列举,总的来看这两类工具各有利弊。客户端分库分表由于直连数据库,所以性能比使用分库分表中间件高15%到20%。而使用分库分表中间件由于进行了统一的中间件管理,将分库分表操作和客户端隔离,模块划分更加清晰,便于DBA进行统一管理。

我们选择的是在客户端分库分表,因为我们自己开发并开源了一套数据层访问框架,它的代号叫“芒果”,芒果框架原生支持分库分表功能,并且配置起来非常简单。

芒果主页:mango.jfaster.org

芒果源码:github.







































白癜风医院西宁哪家好
北京治疗白癜风哪家医院好



转载请注明:http://www.xcqg58.com/jyqj/jyqj/9701.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了