大数据项目性能优化实战_大数据性能优化-CSDN博客

网站介绍:文章浏览阅读5.6k次。项目背景领导:项目 X 二期接近交付,目前性能问题比较严重,解决一下;原因可能是 kafka 单线程效率不足。客户:该模块每 2 分钟经清洗计算生成的处理结果量应该在 13 万,实际查询到的数量只有 7 万。原研发:可能是 kafka 性能问题,因为硬件上不足以修改多进程,多线程版本应该可以。该模块数据流是读取 kafka--> 过滤 --> 写入 snappy。Part 1: 头痛的..._大数据性能优化