文章浏览阅读4k次。ceph和minIO存储方案如何选择?minio接口文档ceph和hdfs分布式文件系统的对比 HDFS VS Ceph三驾马车已去,再论Hadoop已是凉凉S3FS 挂载MINIO为本地文件系统TODO: 总结_minio 对象存储和hdfs区别...
2024-01-25 06:50 阅读 阅读全文大数据Hadoop学习(3)-HDFS操作shell操作、客户端操作(API操作、I/O流操作)HDFS的Shell操作基本语法bin/hadoop fs不想每次输入命令路径的话,修改/etc/profileexport HADOOP_HOME=/opt/software/hadoop-2.7.0export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOM..._hadoop3 hdfs 学习...
2023-10-11 14:32 阅读 阅读全文文章浏览阅读1.8k次。在 HDFS 中,DataNode 将数据块存储到本地文件系统目录中,具体的目录可以通过配置 hdfs-site.xml 里面的 dfs.datanode.data.dir 参数。在典型的安装配置中,一般都会配置多个目录,并且把这些目录分别配置到不同的......
2024-01-24 00:36 阅读 阅读全文文章浏览阅读264次。初识大数据以及HDFS原理大数据出现的原因:随着web2.0时代的发展,互联网上数据量呈献爆炸式的增长,为了满足信息搜索的需要,对大规模数据的存储提出了非常强劲的需要。什么是大数据? 短时间内快......
2024-01-25 06:16 阅读 阅读全文文章浏览阅读264次。初识大数据以及HDFS原理大数据出现的原因:随着web2.0时代的发展,互联网上数据量呈献爆炸式的增长,为了满足信息搜索的需要,对大规模数据的存储提出了非常强劲的需要。什么是大数据? 短时间内快......
2024-01-25 06:17 阅读 阅读全文文章浏览阅读1.3k次。准备工作是否安装JDK是否配置静态IP 配置 IP和主机名映射 (根目录输入 vi /etc/hosts)检查虚拟机时间是否同步,输入date查看关闭防火墙: systemctl disable firewalld1.免密设置ssh one 先连接需要免密的服务器,输入......
2024-01-25 06:54 阅读 阅读全文大数据学习04_Hadoop: HDFS操作HDFS操作HDFS的Shell操作HDFS常用命令HDFS客户端操作HDFS客户端环境准备HDFS的API操作HDFS的I/O流操作HDFS操作HDFS的Shell操作基本语法bin/hadoop fs 具体命令或bin/hdfs dfs 具体命令其中dfs是fs的实现类HDFS常用命令启......
2023-10-11 14:32 阅读 阅读全文HDFS是Apache Hadoop项目的一部分,是一个分布式文件系统,用于存储和管理文件,能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统,适合部署在......
2024-01-24 20:41 阅读 阅读全文HDFS是Apache Hadoop项目的一部分,是一个分布式文件系统,用于存储和管理文件,能提高超大文件的访问和存储速度。HDFS采用一次写入多次读取的流式数据访问模式保证了数据的一致性。HDFS是一个高度容错性的系统,适合部署在......
2024-01-24 20:41 阅读 阅读全文文章浏览阅读1.3k次。前言 Hadoop到目前为止发展已经有10余年,版本经过无数次的更新迭代,目前业内大家把Hadoop大的版本分为Hadoop1.0、Hadoop2.0、Hadoop3.0 三个版本。一、Hadoop1.0 简介 Hadoop1.0版本刚出来的时候是为了解......
2024-01-23 11:07 阅读 阅读全文