网站介绍：文章浏览阅读143次。1.从hdfs上读取数据val jsonStrRdd=fileRdd.map(x=>x.split('|')).map(x=>(x(0),x(1)))2.数据分割，转换成dataFrame。Id字段加入到最后val jsonStrRdd=fileRdd.map(x=>x.split('|')).map(x=>(x(0),x(1)))val rdd=jsonStrRdd.map(x=>{varjsonStr=x._2;jsonStr=jsonStr.substring(_spark 解析 json 日志报文
- 链接地址：https://blog.csdn.net/qq_43012693/article/details/109845205
- 链接标题：spark Json日志分析_spark 解析 json 日志报文-CSDN博客
- 所属网站：blog.csdn.net
- 被收藏次数：1997
- 网站标签：spark 解析 json 日志报文
