文章浏览阅读284次。Kafka 高级特性-生产者...
2023-11-11 18:10 阅读 阅读全文文章浏览阅读276次。首先,在一个企业级的架构应用中,究竟何时需引入消息队列呢?本人认为,最经常的情况,无非这几种:做业务解耦、事件消息广播、消息流控处理。其中,对于业务解耦是作为消息队列,要解决的一个首......
2024-01-25 06:10 阅读 阅读全文flume第四讲avro source(自带序列化机制)工作机制通过监听一个网络端口来接收数据,而且接收的必须是avro序列化后的数据,avro是序列化的框架是跨语言的该source自己具备反序列化机制一般用于agenet之间的级联思想我们从日志采集服......
2023-10-11 21:07 阅读 阅读全文文章浏览阅读6.7k次。http://my.oschina.net/gongshang/blog/395431?p=1在设计 RESTful 的网站时,我们总是希望 ORM 框架返回的结果是可以直接给 View 层使用的 JSON 字符串。但是 Sqlalchemy 的返回结果直接使用 json.dumps(res) 会报 TypeError 的错误。解......
2024-01-25 07:42 阅读 阅读全文资源浏览查阅53次。scala-schema:Scala类的JSON模式生成,验证和反序列化,Scala模式从Scala类生成从任何caseclass创建一个Schema对象将架构导出为JSON直接使用模式对象进行有效的,并带有机器和人类友好的验证错误消息。化为JSON。这种......
2024-01-23 03:44 阅读 阅读全文文章浏览阅读160次。由于在深度学习的路上,发现自己两年前学习的python有些遗忘,在面向对象这一块尤其不熟悉,故刷一遍廖雪峰老师的官方教程,梳理一下遗漏的知识点。参考网址:https://www.liaoxuefeng.com/wiki/10169596636024001.文......
2023-11-11 19:22 阅读 阅读全文文章浏览阅读1.4k次。前言 每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。1.诊断内存的消耗在Spark......
2024-01-23 11:06 阅读 阅读全文文章浏览阅读4k次,点赞28次,收藏19次。前言 最近一直在研究如果提高kafka中读取效率,之前一直使用字符串的方式将数据写入到kafka中。当数据将特别大的时候发现效率不是很好,偶然之间接触到了Avro序列化,发现kafka......
2024-01-23 11:07 阅读 阅读全文MapReduce 概述MapReduce:一个分布式运算程序的编程框架,是用户开发“基于 Hadoop 的数据分析应用”的核心框架。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 H......
2023-10-11 14:25 阅读 阅读全文文章浏览阅读2k次。关于使用 com.google.gson.Gson 序列化类型变了的坑 Cause:java.lang.ClassCastException: net.sf.json.JSONObject cann_com.google.gson.gson...
2024-01-24 12:19 阅读 阅读全文