Kafka猛然醒来,突然变成了数据库

有时候,数据库就像一堆蜡板,可以堆叠和归整来进行更新;而如今,有时候数据库更像一条河流,形状取决于流经的地域,但是数据库在不断变化和流动,而这种流动恰恰比其他任何因素更加定义了驱动业务发展的信息。没有时间使数据库持久化、整理并查询数据库。

在这种情况下,将数据库径直嵌入到该数据流中有其道理,这也正是Confluent所做的,这家公司使ApacheKafka实现了商业化,而ApacheKafka是由商务社交网络LinkedIn创建,在年初开源的一种分布式消息队列架构。众所周知,Kafka最初是一种数据流服务,将数据传送到诸如Hadoop之类的系统,但是它本身正在逐渐成为一个平台。实际上,KSQL数据流数据库正是将Kafka转变成一种正宗平台的那个缺失的环节,也是Confluent的联合创始人尼哈·纳克赫德(NehaNarkhede)长期想要搞的技术,他当初帮助开发了Kafka及相关的Samza数据流处理框架,这种框架在LinkedIn将Kafka和Hadoop混合起来。

我们生活在一个完全颠倒的世界,数据库正试图添加数据流函数,而数据流服务器正变成数据库。许多现代应用系统以消息传送为中心(比如金融服务应用已存在了几十年),尤其是需要为数百万、数千万甚至数十亿用户确保高性能的那些应用系统,然后数据流服务和数据库服务依托于这些应用。

KSQL覆盖在Kafka上面有其道理,但这并不意味着因此很容易将源源不断的数据流转换到外观感觉如同传统的SQL驱动型关系数据库的数据库。纳克赫德告诉IT外媒TheNextPlatform,SQL接口的主要目的是,为使用基于Kafka的数据流服务降低准入门槛,这就好比Hadoop上的SQL覆盖层旨在让普通的SQL用户更容易充分利用在Hadoop上运行的数据湖,而过去不得不编写MapReduce脚本,以便对它提出问题。

Kafka本身是结合Scala和Java编写而成的,KafkaStreams数据流处理器好比SparkStreaming、Flink及类似系统,将其表覆盖内容存储到分布式RocksDB数据存储系统中。(RocksDB是一种低级存储引擎(







































北京看白癜风去哪个医院好
北京哪个看白癜风的医院好



转载请注明:http://www.xcqg58.com/jbjj/7532.html

  • 上一篇文章:
  •   
  • 下一篇文章: 没有了