Confluent宣布企业版Kafka支持多数据中心复制功能

by Srini Penchikala on Oct 05, 2016

摘要：

最新的Confluent企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent是基于Apache Kafka的流平台提供商，它宣布了Confluent企业版的新特性，这些特性有助于构建流数据管道和开发流处理应用。

最新的Confluent企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent是基于Apache Kafka的流平台提供商，它宣布了Confluent企业版的新特性，这些特性有助于构建流数据管道和开发流处理应用。

新的版本将会在本月底发布，其中包括了Confluent的两个版本：

• Confluent平台：这是开源版本。它包括了Apache Kafka以及针对C、C++、Python和Go编程语言的客户端，它还打包了针对JDBC、ElasticSearch和HDFS的连接器，一个用于管理Kafka主题元数据的模式注册表（Schema Registry）以及与Web应用进行集成的REST代理；
• Confluent企业版：这是针对企业提供的版本，包含了开发企业级流应用的额外功能。它包括了监控事件流的Confluent控制中心（Confluent Control Center）、MDC复制以及自动化的数据平衡功能。

新的数据复制和数据平衡功能有助于更好地管理Kafka集群。

多数据中心复制（Multi-datacenter replication）：借助多数据中心（MDC）复制功能能够实现安全的多集群副本，并且能够通过中心化的配置维护这些位于不同地理位置的集群。每个数据中心的Kafka集群是同步的，所以不同数据中心上的应用和配置能够保持同步。

它提供了持久化的跨数据中心复制功能并且与安全进行集成，能够在Apache Kafka中加密和认证复制的数据。我们可以针对整个集群或特定的主题子集进行复制操作。

MDC副本自带了完整的安全支持，包括跨数据中心对副本数据进行自动化的访问控制。认证采用的是SASL机制，支持与Kerberos和Active Directory集成。授权能够基于主题进行MDC的流复制。加密是基于SSL和Mirror Maker的。

自动化数据平衡：自动化数据平衡特性允许从Kafka集群中添加和移除节点，因此我们甚至可以创建跨集群的工作负载。它会监控集群的统计数据，比如节点的数量、分区（partition）的大小、分区的数量以及集群中leader的数量，并且会采用机架感知（rack aware）的算法来重平衡跨集群的分区。

云迁移： Confluent企业版产品对云功能的支持有助于将数据流创建到云端，并且能够将云集群与内部的Kafka集群进行同步。基于Confluent的复制功能，能够允许组织从某种云策略转换为将来的其他策略。

如果你对新特性感兴趣的话，可以注册即将开始的webinar或者最近上线的免费在线系列演讲。

查看英文原文：Confluent Announces Kafka for the Enterprise with Multi-Datacenter Replication