kafka为什么那么快

为什么Kafka速度那么快

发布 : 大数据培训   发布时间:2022-01-17 16:53:08

品牌型号:联想 YOGA 14c/系统版本:windows7

Kafka速度快的原因为:

1、partition 并行处理,写入数据的时候由于单个Partion是末尾添加所以速度最优。

2、顺序写入,磁盘顺序读写速度超过内存随机读写,充分利用磁盘特性。

3、批量压缩文件,利用了现代操作系统分页存储 Page Cache 来利用内存提高 I/O 效率。

4、通过mmap实现顺序的快速写入,提高I/O速度。

5、读取数据时采用 sendfile,减少 CPU 消耗。

其它答案
冰阔落2020-06-22 18:56:36

kafka快是因为:利用Partition实现并行处理、顺序写入、充分利用Page Cache、零拷贝技术、网络数据持久化到磁盘、批处理、数据压缩。


 相关推荐