===================================
褚霸:webscalesql是基于mysql 5.6 社区版本改编的mysql通用分支,基于gpl开源协议发布webscalesql目前已经做了很多性能改进工作,包括:客户端异步协调、逻辑预读、查询限流、服务端线程池优化、innodb大页支持等等由于我们的分支上本身有一些定制化的需求,因此不会直接使用webscalesql分支提供线上服务,但是这些改进对于我们都是很感兴趣的,好的特性会被吸收进来因为我们有各种各样应用场景的用户,对mysql本身的要求也比较高比如大并发连接的用户,就需要线程池;存大量历史数据的用户,就要求高的压缩比等等
webscalesql上的功能都是很“web scale”和接地气的
语句自动超时是一个很“webscale”的特性随着数据量的增大,同样的sql的语句执行时间会越来越长而语句执行期间占用的资源也可能越大若不加以限制可能几个语句就可能拖垮一个服务,在互联网应用中这种场景更常见webscalesql引入了来自twitter工程师的代码,可以设定单语句的执行时间,超时则自动放弃对数据库起到保护的作用
webscalesql其他四家公司的参与者也是社区内的专家,讨论技术问题时经常互动,我们的工作大家也是比较了解的最初是facebook的一位华裔员工先联系的我们,然后我们也很快做了确认答复,整个过程是比较顺畅的
褚霸:阿里云rds团队有mysql源码小组专门负责维护阿里云的mysql分支团队的主要工作是源码级别上的改进,包括bug修复、性能优化和定制化需求等在我们改进过程中,如果是bug修复类型的补丁,或者是足够通用的feature类型的补丁我们都会同时提交到上游,包括oracle官方、mariadb和percona分支阿里云rds现在有大量的mysql用户,在系统维护和服务用户的过程中会碰到各式各样的问题,我们在解决过程中也经常发起讨论,在社区是一个活跃的团队
gtid是oracle官方版本5.6引入的新概念,在解决主备切换,尤其是级联主备架构的切换方面提供了很大的便利阿里云rds的只读实例就直接利用了这个特性,其实现上还有可以优化的空间系统需要维护一个全局的结构,在高并发更新场景下性能非常差webscalesql优化了事务提交过程,减少了不必要的gtid_owned set的维护主库高并发更新的性能可以提升20%
infoq:阿里巴巴受邀加入webscalesql,与facebook、google、twitter和linkedin这样的世界顶级团队共同研发webscalesql,这可以说是中国公司在国际开源项目上的一次亮剑能介绍下整个受邀的背景和过程吗?
infoq:能介绍下webscalesql吗?它有哪些吸引人的特性?接下来阿里云rds是否准备使用webscalesql?
class="">
2015年1月20日,facebook宣布阿里巴巴旗下的阿里云rds团队正式加入webscalesqlwebscalesql是facebook、 google、twitter和linkedin四家公司的mysql团队发起的mysql开源组织,旨在改进mysql在规模和性能等方面的问题阿里云rds团队有专门的源码小组负责mysql源码级别的改进,他们也经常活跃在mysql社区中,此次受邀加入webscalesql组织也是对他们工作的肯定和认可近日,infoq采访了rds团队的负责人褚霸,听他分享了整个邀请的背景以及接下来的工作重心
比如线程池优化,大家都知道线程池是mariadbwebscalesql基于mariadb的线程池实现进行重写并优化,对读写队列进行分离,重新设计队列优先级策略,避免了饿死现象要知道线程饿死在有些场景下是很严重的尤其是在并发连接数往往很大的互联网应用里面