忧天的杞人擅长用.Net Core SignalR 做一个即时通讯工具,.Net Core挖坑随笔,插件使用,等方面的知识,忧天的杞人关注c#,前端框架,css,node.js,asp.net,.net,vue.js,javascript领域....
2023-10-11 20:53 阅读 阅读全文文章浏览阅读4.6k次。背景graphx实现k-core比较简单,参考淘宝技术部之前的文章,已经给出了一个代码片段,基本上改改就可以定制自己的需求了。codeimport org.apache.spark._import org.apache.spark.graphx._import org.apache.spark.storage.StorageLevelim......
2024-01-24 09:29 阅读 阅读全文文章浏览阅读4.6k次。背景graphx实现k-core比较简单,参考淘宝技术部之前的文章,已经给出了一个代码片段,基本上改改就可以定制自己的需求了。codeimport org.apache.spark._import org.apache.spark.graphx._import org.apache.spark.storage.StorageLevelim......
2024-01-24 09:30 阅读 阅读全文文章浏览阅读1.2k次。1 读取Sequence File读取文本格式我们可以使用text files,那么读取Sequence File该怎么办呢? 当然官网给我们提供了另外一种方式,sequenceFile[K, V] 方法,其中k和v是文件中的键值和值类型。他们实现了Writable接口。......
2024-01-24 08:03 阅读 阅读全文文章浏览阅读196次。Core Java 8 读书笔记-Networking编程作者:老九—技术大黍原文:Core Java 8th Edition社交:知乎公众号:老九学堂(新人有惊喜)特别声明:原创不易,未经授权不得转载或抄袭,如需转载可联系笔者授权前言网络......
2024-01-22 18:29 阅读 阅读全文文章浏览阅读2.1k次。更多代码请见:https://github.com/xubo245/SparkLearningSpark生态之Alluxio学习 版本:alluxio(tachyon) 0.7.1,spark-1.5.2,hadoop-2.6.01.问题描述1.1使用1,2的代码会有1个节点执行连个core1.2 ## 代码hadoop@Master:~/disk2/xubo/project/alig......
2024-01-24 00:40 阅读 阅读全文文章浏览阅读1k次,点赞30次,收藏22次。1. Spark 和 Hadoop 相比有什么优势运行速度快:Spark拥有DAG执行引擎,支持在内存中对数据进行迭代计算。官方提供的数据表明,如果数据由磁盘读取,速度是Hadoop MapReduce的10倍以上,如果......
2024-01-22 17:39 阅读 阅读全文