发布于：2019-04-16
kafka-server-start.sh命令 kafka-server-start.sh命令用于启动kafka服务。一般用法 启动kafka服务,其中必须传递的参数是服务的配置文件路径。 kafka-server-start.sh ../config/server.properties 一般启动服务需要以后台运行的模式，需要额外新增 -daemon参数 kafka-server-start.sh -daemon ../config/server.properties 此外还可以通过 –override参数覆盖设置server.properties的配置， …...
发布于：2018-12-02
kafka架构 一个kafka架构包括如下4部分： 若干个Producer，负责发生消息 一个kafka集群，包含若干个Broker，负责存储消息 若干个consumer group，每个consumer group包含一个或者多个consumer，负责消息消息 一个Zookeeper集群，负责管理集群配置及服务协同 kafka各个组件详解 Producer Producer即消息生产者，负责发布消息到broker，是向broker推送消息的客户端。 一个消息会被发布到一个特定的topic(主题)上，producer默认会将消息均衡地分布到topic的patition(分区)上。 在发送一 …...
发布于：2018-09-26
什么是kafka Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与 Kafka集成。 Kafka的主要特点如下： 以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间复杂度的访问性能。 高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条以上消息的传输。 支持消息分区，及分布式消费，同时保证每个Partition内的消息顺序传输。 同时支持离线数据处理和实时数据处理。 方便的支持支 …...