文章浏览阅读324次。转载自:https://www.toutiao.com/a6573610696825635336/?log_from=ff720c65a6954_1642770703125应用架构演进这里的架构演进应该是从服务化的角度来说,应该说随着业务发展,应用规模扩大,系统的一些公共服务就会抽取出来,......
2024-01-23 02:14 阅读 阅读全文文章浏览阅读3.4k次。3.1 HDFS简介Hadoop平台解决两大核心问题:分布式存储分布式处理HDFS就是解决海量数据分布式存储背景:大数据时代,对于海量的数据,单个计算机无法处理,只能借助整个集群来处理海量数据。文件系统结......
2024-01-25 06:50 阅读 阅读全文文章浏览阅读4.5k次。完全分布式集群搭建步骤[注]本文假设您的虚拟机配置已经完毕, 其需要的操作有:/etc/hosts文件需将文章所用到的主机名和Ip映射虚拟机防火墙关闭Hadoop环境变量配置完毕jdk配置完毕若以上步骤都做完了,那么......
2024-01-25 06:52 阅读 阅读全文文章浏览阅读2.7w次,点赞18次,收藏56次。前言:在爬虫的开发过程中,有些业务场景需要同时抓取几百个甚至上千个网站,此时就需要一个支持多爬虫的框架。在设计时应该要注意以下几点:代码复用,功能模块化。如果针对......
2024-01-24 11:08 阅读 阅读全文ACL全称为Access Control,用于控制资源的访问权限。zk利用ACL策略控制节点的访问权限,如数据读写、创建/删除/读取子节点、设置节点权限等。在传统的文件系统中,ACL分为两个维度,一个是属组,一个是权限,一个属组包含多个......
2023-10-13 06:58 阅读 阅读全文文章浏览阅读2.3k次,点赞5次,收藏10次。1.版本控制的分布式和集中式的区别:CVS及SVN这些集中式的版本控制系统,而Git是分布式版本控制系统1.1集中式版本控制系统集中式版本控制系统,版本库是集中存放在中央服务器的,而......
2023-11-13 16:54 阅读 阅读全文文章浏览阅读304次。软件和操作系统版本Hadoop框架是采⽤Java语⾔编写,需要java环境(jvm)JDK版本:JDK8版本集群:知识点学习:统⼀使⽤vmware虚拟机虚拟三台linux节点,linux操作系统:Centos7项⽬阶段:统⼀使⽤云服务器,5台云服......
2024-01-22 22:36 阅读 阅读全文文章浏览阅读443次。高可用性完全分布式中需要先配置zookeeper,再启动(zkfc进程的格式化需要依赖这个)关于zookeeper,没有在hadoop安装包中下载zookeeper安装包并解压,这里以 zookeeper-3.4.12 为例。zookeeper是运行在 node02,node03 和 node04......
2024-01-25 06:52 阅读 阅读全文文章浏览阅读3.8k次,点赞3次,收藏15次。分布式锁?我一手synchronized 什么高并发,什么秒杀通通拿下(狗头)_synchronized和分布式锁...
2024-01-23 08:55 阅读 阅读全文文章浏览阅读3.8k次,点赞3次,收藏15次。分布式锁?我一手synchronized 什么高并发,什么秒杀通通拿下(狗头)_synchronized和分布式锁...
2024-01-23 08:55 阅读 阅读全文