首页
IT培训常见问题
企业资讯
学员活动
师资团队
图书教材
发布 : 大数据培训 发布时间:2022-01-17 16:53:08
Kafka速度快的原因为:
1、partition 并行处理,写入数据的时候由于单个Partion是末尾添加所以速度最优。
2、顺序写入,磁盘顺序读写速度超过内存随机读写,充分利用磁盘特性。
3、批量压缩文件,利用了现代操作系统分页存储 Page Cache 来利用内存提高 I/O 效率。
4、通过mmap实现顺序的快速写入,提高I/O速度。
5、读取数据时采用 sendfile,减少 CPU 消耗。
kafka快是因为:利用Partition实现并行处理、顺序写入、充分利用Page Cache、零拷贝技术、网络数据持久化到磁盘、批处理、数据压缩。
咨询还可获得
对应免费课程