文章浏览阅读8.6k次。分布式爬虫的演习。分布式爬虫问题其实也就是多台机器多个 spider 对 多个 url 的同时处理问题,怎样 schedule 这些 url,怎样汇总 spider 抓取的数据。最简单粗暴的方法就是将 url 进行分片,交给不同机器,最......
2024-01-24 11:08 阅读 阅读全文yuyi_000擅长大数据存储(分布式或非分布式),编程语言,框架和开源项目,等方面的知识...
2023-10-14 10:03 阅读 阅读全文文章浏览阅读302次。目录版本下载安装部署kafka在zookeeper中的⽬录说明版本下载安装包:http://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz源码包:http://archive.apache.org/dist/kafka/1.1.1/kafka-1.1.1-src.tgz安装部署1. 解压 [root@hadoop01 ~]# tar -z......
2024-01-21 12:50 阅读 阅读全文文章浏览阅读58次。双十一”,“双十二”,“微博爆点”,“12306”,“秒杀”这些跟我们生活息息相关的场景,并且大部分都参与其中,而这些场景刚好是高并发的典型场景,针对这些场景在面试时最容易得到面试官的亲睐......
2023-11-11 16:54 阅读 阅读全文文章浏览阅读232次。老九学堂之分布式设计教材作者:老九—技术大黍原文:分布式系统设计教材社交:知乎公众号:老九学堂(新人有惊喜)特别声明:原创不易,未经授权不得转载或抄袭,如需转载可联系笔者授权前言本文......
2024-01-22 18:28 阅读 阅读全文文章浏览阅读65次。java实现分布式锁package com.yiran.redis;import org.junit.Test;import redis.clients.jedis.Jedis;import java.net.PortUnreachableException;public class RdisT_java中hadoop实现......
2024-01-23 01:04 阅读 阅读全文文章浏览阅读6.6k次,点赞4次,收藏6次。本文从计算机领域的“祖师爷”艾伦·图灵提出的图灵机概念开始,介绍了图形计算的概念,并以示例介绍了apache storm,基于apache storm如何进行分布式图形计算。apache storm是一个免费开源......
2024-01-23 23:13 阅读 阅读全文资源浏览查阅151次。Git-2.21.0-64-bit开源分布式版本控制系统安装包。Git(读音为/gɪt/。)是一个分布式版本控制更多下载资源、学习资料请访问CSDN文库频道....
2023-11-11 16:00 阅读 阅读全文文章浏览阅读2.2k次。分布式事务1. 什么是分布式事务1.1 概念2. 为什么会有分布式事务?2.1 多 service 节点2.2 多数据源3. 分布式事务的理论基础3.1 CAP 定理3.2 BASE 定理4. 分布式事务解决方案4.1 XA 方案4.1.1 2pc4.2 TCC4.3 saga 方案4.4 本地......
2023-11-11 17:11 阅读 阅读全文文章浏览阅读401次。成功截图历时一天,到晚上12点,终于搭建成功高可用的完全分布式。从下午三点到晚上九点6个小时一直在找之前的搭建错误,没有成功。遂删掉四台虚拟机,准备重头开始。从晚上接近十点到晚上12点,从......
2024-01-25 06:52 阅读 阅读全文