博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
详解Kafka生产者Producer配置
阅读量:6155 次
发布时间:2019-06-21

本文共 1184 字,大约阅读时间需要 3 分钟。

基本配置

metadata.broker.list:broker服务器集群列表,格式为 host1:port1, host2:port2 ...


producer.type:消息发送类型同步还是异步,默认为同步

compression.codec:消息的压缩格式,默认为none不压缩,也可以为gzip, snappy, lz4


serializer.class:消息加密格式,默认为kafka.serializer.DefaultEncoder


compressed.topics:主题的压缩格式,可以为'gzip', 'snappy', lz4


异步生产者配置


queue.buffering.max.ms:生产者异步缓存数据的最大时间,单位毫秒

queue.buffering.max.messages:生产者异步缓存消息的最大容量

queue.enqueue.timeout.ms:队列超时事件。0,如果队列满了就放弃;-ve,如果队列满了就会永远阻塞;+ve,如果队列满了会阻塞一段时间。


batch.num.messages:生产者可以批量处理的消息数

Java客户端消费者常用配置

bootstrap.servers:broker服务器集群列表,格式为 host1:port1, host2:port2 

key.serializer:定义序列化的接口,建议为org.apache.kafka.common.serialization.StringSerializer

value.serializer:实现序列化接口的类,建议为org.apache.kafka.common.serialization.StringSerializer

acks:配置可以设定发送消息后是否需要Broker端返回确认


    0:不需要进行确认,速度最快。存在丢失数据的风险。


    1:仅需要Leader进行确认,不需要ISR进行确认。是一种效率和安全折中的方式。

    all:需要ISR中所有的Replica给予接收确认,速度最慢,安全性最高,但是由于ISR可能会缩小到仅包含一个Replica,所以设置参数为all并不能一定避免数据丢失。

buffer.memory:生产者的缓村容量,如果记录发送的比传输到服务器的速度快,要么是生产者阻塞,要么是配置的block.on.buffer.full缓存区满了。默认大小为32M


compression.type:生产者生成的所有数据压缩格式,默认不压缩,还可以为gzip, snappy, or lz4


linger.ms:Producer默认会把两次发送时间间隔内收集到的所有Requests进行一次聚合然后再发送,以此提高吞吐量,而linger.ms则更进一步,这个参数为每次发送增加一些delay,以此来聚合更多的Message。

转载地址:http://cjffa.baihongyu.com/

你可能感兴趣的文章
11-02笔记图
查看>>
visual c++ 2010安装失败导致CRM2015安装失败
查看>>
web项目直接在浏览器上访问不需要带.jsp,直接ip地址加项目名 在web.xml里配置...
查看>>
一步一步使用Ext JS MVC与Asp.Net MVC 3开发简单的CMS后台管理系统之用户管理(3)...
查看>>
1+2+34-5+67-8+9=100?
查看>>
ELK系列~Fluentd对大日志的处理过程~16K
查看>>
安装appium桌面版和命令行版
查看>>
15款经典图表软件推荐 创建最漂亮的图表
查看>>
Python进阶量化交易场外篇4——寻找最优化策略参数
查看>>
5Linux流程控制语句-if、for、while、case语句、计划任务
查看>>
有哪些质量上乘的程序员必关注的网站或论坛
查看>>
正则表达式
查看>>
我理解的几种字符编码方式
查看>>
BZOJ-4706 B君的多边形 OEIS
查看>>
报错之解决方案1--找不到文件或文件夹
查看>>
spring容器加载完毕做一件事情(利用ContextRefreshedEvent事件)转
查看>>
OFFICE 2007 序列号
查看>>
07-JAVA继承与接口
查看>>
ubuntu15.10下sublime text3 无法输入中文解决办法
查看>>
LR web_custom_request
查看>>