网友收藏 文章浏览阅读147次。一、构建过程中遇到的一些问题用global libraries的scala就会出现如下错误。（我的改动是把global libraries里面的scala的sdk删除，在project setting下的libraries里面添加了spark里的jars和本机安装的2.10.7版本的Scala。这样......
2024-01-22 22:22 阅读
阅读全文 网友收藏 文章浏览阅读2.9k次。ilinux_onescala中json与对象的转换遇到的问题因为要把spark从es读出来的json数据转换为对象，开始想用case class定义类型，通过fastjson做转换。如下复制代码复制代码case class Book (author: String, content: String, id: String, ......
2024-01-23 05:37 阅读
阅读全文 网友收藏 文章浏览阅读5.1k次。1. External Data Source 外部数据源 1）每一个spark程序以加载数据开始，以输出数据结束 2）方便快速的从不同的数据源（json、parquet/rdbms），经过混合处理，在将处理结果以特定的格式，写回到指定的系统（......
2024-01-23 23:42 阅读
阅读全文 网友收藏 文章浏览阅读345次。package ce.scala.zhong//6import scala.actors.Actorimport scala.actors.Actor._//用case class 或者case object作为消息来传递，有两个原因：//1.参数是val类型的，在传输过程中不会改变。2.接收消息时，模式匹配+case class，极大简化......
2024-01-23 18:27 阅读
阅读全文 网友收藏 要想通过ES API对es的操作，必须获取到TransportClient对象，让后根据TransportClient获取到IndicesAdminClient对象后，方可以根据IndicesAdminClient对象提供的方法对ES的index进行操作：create index,update index(update index settings,update index mapping),......
2023-10-10 03:39 阅读
阅读全文 网友收藏 文章浏览阅读7.7k次，点赞12次，收藏43次。机器学习是现阶段实现人工智能应用的主要方法,它广泛应用于机器视觉、语音识别、自然语言处理、数据挖掘等领域。MLlib是Apache Spark的可伸缩机器学习库。官网地址:[http://spark.apache.org......
2024-01-23 23:14 阅读
阅读全文 网友收藏 文章浏览阅读5.7k次，点赞7次，收藏37次。实验内容：每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写spark独立应用程序求出所有学生的平均成绩。下面是输......
2024-01-23 19:46 阅读
阅读全文 网友收藏 文章浏览阅读447次。代码import org.apache.kafka.clients.consumer.ConsumerConfigimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.sql.SparkSessionimport org.apache.spark.streaming.{Seconds, StreamingContext}import org.apache.spark.st_spark sql es the host......
2024-01-21 13:11 阅读
阅读全文 网友收藏 文章浏览阅读1.2k次。内存溢出问题 在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使......
2024-01-24 07:38 阅读
阅读全文 网友收藏 文章浏览阅读1.6w次，点赞54次，收藏450次。毕 业 设 计（论 文）题 目： 基于Spark机器学习的电商推荐系统的设计与实现这是我去年本科毕业时做的毕业设计论文，全文三万多字，知网查重对重复率1%，由于本科论文不会被发表......
2024-01-23 12:35 阅读
阅读全文 
网友收藏