文章浏览阅读255次。映射映射就是Map集合,由一个(key,value)组成。-> 操作符用来创建例如:val scores = Map(“Alice” -> 10,”Bob” -> 3,”Cindy” -> 8)映射的类型分为:不可变Map和可变Map映射的操作获取映射中的值更新映射中的......
2024-01-23 03:16 阅读 阅读全文文章浏览阅读470次。Spark数据分析及处理使用Spark完成日志分析项目需求数据清洗项目所需文件使用Spark完成日志分析项目需求日志数据清洗用户留存分析活跃用户分析活跃用户地域信息分析用户浏览深度分析数据清洗读入日志文......
2024-01-22 14:08 阅读 阅读全文文章浏览阅读1.4k次。用户行为序列session 按照时间间隔将用户连续行为分段,分为多个session,简化分析流程,了解用户的行为路径。_用户行为日志 记录了用户访问了某个app的uld、ts;需要增加字段session_ld session...
2024-01-25 07:00 阅读 阅读全文文章浏览阅读733次。由于Hive采用了类似SQL的查询语言HQL(Hive Query Language),因此很容易将Hive理解为数据库。其实从结构上来看,Hive和数据库除了拥有类似的查询语言,再无类似之处。本文将从多个方面来阐述Hive和数据库的差异......
2024-01-23 11:14 阅读 阅读全文APP、前后端分离项目都采用API接口形式与服务器进行数据通信,传输的数据被偷窥、被抓包、被伪造时有发生,那么如何设计一套比较安全的API接口方案呢?一般的解决方案如下:1、Token授权认证,防止未授权用户获取数据;2......
2023-10-13 14:05 阅读 阅读全文文章浏览阅读376次。根据官网介绍:Spark SQL支持两种不同的方法将现有的RDDs转换为数据集。第一种方法使用反射来推断包含特定对象类型的RDD的模式。这种基于反射的方法可以生成更简洁的代码,并且当您在编写Spark应用程序时......
2024-01-23 20:39 阅读 阅读全文资料包 | 考试将至 软考备考资料大放送!第十章 下一代因特网10-3 在IPv4 首部中有一个“协议”字段,但在IPv6 的固定首部中确没有。这是为什么?答:在IP 数据报传送的路径上的所有路由器都不需要这一字段的信息。只有目的......
2023-10-12 10:56 阅读 阅读全文文章浏览阅读670次。概述Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。Hive的元数据信息在MySQL数据中有71张表(也有人不一样~)Hive一......
2024-01-12 19:36 阅读 阅读全文//今天把一个数据库的sql文件导入到另一个数据库出现以下异常:查阅资料得知,mysql5.7版本中有了一个STRICT mode(严格模式),而在此模式下默认是不允许设置日期的值为全0值的,所以想要解决这个问题,就需要修改sql_mode的值......
2023-10-13 06:48 阅读 阅读全文文章浏览阅读495次,点赞6次,收藏2次。文章目录ORM思想ResultSet、ResultSetMetaData的使用利用JDBC实现查询操作利用JDBC实现对某表的任意字段查询利用JDBC实现对任意表的任意字段查询总结ORM思想ORM映射思想(Object relational mapping)一......
2023-11-11 13:58 阅读 阅读全文