目录一、ZooKeeper是什么二、ZooKeeper的工作机制三、ZooKeeper特点四、ZooKeeper数据结构五、ZooKeeper应用场景●统一命名服务●统一配置管理●统一集群管理●服务器动态上下线●软负载均衡六...
-
kafka 【分布式技术】注册中心zookeeper
-
分布式 云原生 Zookeeper(一)特性与节点数据
CAP&Base理论CAP理论 1、一致性(Consistency): 在分布式环境中,一致性是指数据在多个副本之间是否能够保持一直的特性; 2、可用性(Availability):每次请求都能获...
-
大数据 分布式 使用spark进行递归的可行方案
在实际工作中会遇到,最近有需求将产品炸开bom到底层,但是ERP中bom数据在一张表中递归存储的,不循环展开,是无法知道最底层原材料是什么。 在ERP中使用pl/sql甚至sql是可以进行炸BOM的,但是怎么使...
-
分布式 Linux shell脚本超详细安装rabbitmq
shell脚本超详细安装rabbitmq# 自动安装rabbitmq脚本# 本文使用的是wget 下载rabbitmq包,所以需要你安装wget ,命令:yum -y install wget# 这里需要注意的是,由于ra...
-
大数据 分布式 hbase的搭建、hbase shell的使用、Hbase的Python操作、Hbase整合Hive
一、hbase的搭建1.下载软件包上传到虚拟机Hbase下载2.解压组件包3. 修改Hbase配置# 修改【这一句前面的#去掉】:# HBASE_MANAGES_ZK=false 时使用独立的zookeeper,为true时...
-
分布式 Rabbitmq 之过期消息、死信队列、延迟队列
1、过期时间设置方式Rabbitmq 中消息过期有两种设置方式:1)、单条消息设置过期时间;2)、队列属性设置消息过期时间。1.1、设置单条消息过期时间 在发送消息的时候指定消息的属性。设置消息...
-
网络 分布式 docker 容器 RabbitMQ之交换机
目录前言一.关于交换机1.交换机工作原理2.交换机类型及路由规则二.交换机实战讲解1.直连交换机2.主题交换机3.扇形交换机总结前言RabbitMQ 中的交换机(Exchange)是消息的分发中心,负责将消息发送到一个或多个...
-
oracle 数据库 linux 服务器 分布式 【大数据存储与处理】实验一 HBase 的基本操作
一、实验目的:1. 掌握 Hbase 创建数据库表及删除数据库表 2. 掌握 Hbase 对数据库表数据的增、删、改、查。二、实验内容:1、题目 0:进入 hbase shell 2、题目 1:Hbase 创建数据库表 创建...
-
ruby 分布式 如何保证 RabbitMQ 的消息可靠性?
项目开发中经常会使用消息队列来完成异步处理、应用解耦、流量控制等功能。虽然消息队列的出现解决了一些场景下的问题,但是同时也引出了一些问题,其中使用消息队列时如何保证消息的可靠性就是一个常见的问题。如果在项目中遇到需要保证消息...
-
ruby 分布式 【RabbitMQ 实战】09 客户端连接集群生产和消费消息
一、部署一个三节点集群下面的链接是最快最简单的一种集群部署方法 3分钟部署一个RabbitMQ集群 上的的例子中,没有映射端口,所以没法从宿主机外部连接容器,下面的yml文件中,暴露了端口。 每个容器应用都映射了宿主机的端口...
-
分布式 基于Hadoop大数据技术和协同过滤算法的就业推荐系统
1 简介随着互联网的快速发展,网络数据量不断增加,已经进入了大数据时代。大量的信息和商品同时呈现在用户面前,使我们面临一个严重的问题-信息过载,而个性化推荐是解决该问题一个有效的方法,协同过滤方法是目前在实际推荐系统中应用最...
-
分布式 RabbitMQ之生产者可靠性
1.生产者重连有的时候由于网络波动,可能会出现客户端连接RabbitMQ失败的情况。通过配置我们可以开启连接失败后的重连机制# Spring配置信息# Rabbitmq配置# 设置RabbitMQ连接超时时间# 开启超时重试...
-
java 分布式 Kafka怎么保证数据不丢失,不重复
Kafka是一个分布式消息队列系统,具有高可靠性、高性能和高扩展性等特点。在数据传输过程中,Kafka采用了多种措施来保证数据的可靠性,包括数据复制、数据持久化、数据备份等。本文将从各个阶段深入分析Kafka如何保证数据不丢...
-
大数据 分布式 Spark相关知识点(期末复习集锦)
嗨喽,最近小伙伴们快要期末考试了吧,下面是我对《Spark零基础实战》的总结,希望能帮助到你们。一、Spark简介Spark,拥有hadoop MR所具有的优点,但不同于MR的是job中监测结果可以保存在内存中,从而不再需要...
-
大数据 分布式 spark6. 如何设置spark 日志
spark yarn日志全解一.前言二.开启日志聚合是什么样的2.1 开启日志聚合MapReduce history server2.2 如何开启Spark history server三.不开启日志聚合是什么样的四.正确使...
-
大数据 分布式 Hadoop面试题+详解
20道面试题及详细解答!1.说说什么是结构化数据、非结构化数据和半结构化数据结构化数据、非结构化数据和半结构化数据是根据数据的组织结构和格式来划分的不同类型的数据。结构化数据:结构化数据是按照预定义的数据模型进行组织和存储的...
-
大数据 分布式 基于spark的音乐数据分析系统的设计与实现
收藏关注不迷路文章目录前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录前言本文主要对音乐数据,进行分析,系统技术主要使用,1.对原始数据集进行预处理;3.使用python语言编写Spark程序对HD...
-
数据库 面试 笔记 【Redis】Redis分布式锁有什么缺陷
个人博客:个人主页个人专栏:Redis ⛳️ 功不唐捐,玉汝于成目录前言正文非阻塞式获取锁:死锁问题:锁过期问题:时钟漂移问题:性能开销:不可重入性:缺乏唯一标识:缺乏顺序性:结语 我的其他博客前言 在...
-
【愚公系列】2022年05月 .NET架构班 057-分布式中间件 Mongodb的架构
文章目录前言一、MongoDB全局架构设计二、MongoDB Wiredtiger架构设计1.Wiredtiger引擎写入原理2.Wiredtiger数据防丢失原理2.2 journal 文件3.Wiredtiger 索引原...
-
云原生 中间件 后端 分布式 NAST概述
一、NATS介绍NATS是由CloudFoundry的架构师Derek开发的一个开源的、轻量级、高性能的,支持发布、订阅机制的分布式消息队列系统。它的核心基于EventMachine开发,代码量不多,可以下载下来慢慢研究。不...
-
分布式 中间件 RabbitMQ安装教程(LinuxCentOS7)
目录一、前言二、Erlang下载安装三、RabbitMQ下载安装三、RabbitMQ Web界面管理一、前言本次安装使用的操作系统是Linux centOS7。Docker+RabbitMQ的安装方法,可以参考这篇博客,ht...
-
分布式 linux docker 容器 java spring boot RabbitMQ中交换机的应用及原理,案例的实现
目录一、介绍1. 概述2. 作用及优势3. 工作原理二、交换机Exchange三、代码案例消费者代码 1. 直连direct 生产者代码测试2. 主题topic 生产者代码测试3. 扇形fanout 生产者代码测试每篇一获...
-
java 分布式 kafka使用
一、基础概念1. MQ(消息队列 Message Queue(MQ),消息队列中间件。很多人都说:MQ 通过将消息的发送和接收分离来实现应用程序的异步和解偶,这个给人的直觉是——MQ 是异步的,用来解耦的,但是这个只是 MQ...
-
分布式 WSL下的Kafka开发容器:Docker搭建、API、整合
背景介绍Kafka是一个分布式流处理平台,可以处理大规模数据流并支持实时数据流的处理。本文介绍了如何在WSL下使用Docker搭建Kafka容器,并使用Python的kafka-python库和FastAPI框架实现了一个简...
-
linq 分布式 【kafka】记录用-----------1
主题(topic):消息的第一次分类根据人为的划分条件将消息分成不同的主题主题的划分是人为的根据不同的任务情景去划分比如,我们有两个主题,一个是"订单",另一个是"库存"。每个主题代表一个消息流。 主题的名称作为主题的为一标...
-
分布式 Windows操纵kafka
这里写目录标题启动kafk创建一个测试主题查看所有主题查看first详细信息修改分区数(分区数只能增加 不能减少 删除主题生产者生产数据消费命令启动kafk安装目录下创建一个测试主题安装目录下参数 描述bootstrap-s...
-
分布式 Kafka架构篇 - 多副本机制
多副本机制副本是分布式系统中对数据和服务提供的一种冗余方式。为了对外提供可用的服务,往往会对数据和服务进行副本处理。数据副本:在不同的节点持久化同一份数据,当某个节点存储的数据丢失时,可以从副本中读取数据,这是分布式系统解决...
-
面试题库(十二):分布式和中间件等
raft协议 paxos算法ddos 如何避免?怎么预防?怎么发现?利用了TCP什么特点?怎么改进TCP可以预防?服务端处理不了的请求怎么办?连接数最大值需要设置吗?怎么设置? Thrift RPC过程是什么样子的?异构系统...
-
分布式 RabbitMQ的基本用法
1、信息队列概念 1.1信息队列是什么 消息队列(Message Queue MQ)是实现应用之间数据通信的一种机制,采用先进先出的数据结构和生产者消费者设计模式实现通信。 1.2信...
-
分布式 谷粒商城----rabbitmq
一、 为什么要用 MQ?三大好处,削峰,解耦,异步。削峰比如秒杀,或者高铁抢票,请求在某些时间点实在是太多了,服务器处理不过来,可以把请求放到 MQ 里面缓冲一下,把一秒内收到的 1 万个请求放到队列里面,花 10 分钟去消...
-
java spring cloud 分布式 nacos环境下seata配置
seata是笔者遇到的spring技术栈中配置相对麻烦的一个,而且按官方案例都不一定成功,有不少错误产生。所以这里记录一下:本文选择seata 1.3.0版本,项目添加依赖也是这个版本。Release v1.3.0 · se...
-
分布式 MacBook M1 Pro 安装 RabbitMQ 保姆级教程,亲测有效~
目录一、简介二、安装方式一:Homebrew1、安装2、启动方式二:二进制文件一、简介 RabbitMQ 是一个开源的消息代理软件,实现了高级消息队列协议(AMQP)标准。它是一个强大的、灵活的、可靠的消息队列...
-
系分笔记数据库技术之分布式数据库和数据仓库
文章目录1、概要2、分布式数据库3、数据仓库4、总结1、概要 数据库设计是考试重点,常考和必考内容,本篇主要记录了知识点:分布式数据库和数据仓库。2、分布式数据库 分布式数据库,了解其概念及含义,通常分布式数据库位于不同...
-
数据库 分布式 hadoop 【HBase高级】6. HBase数据结构(下)——LSM树数据结构、布隆过滤器、StoreFiles(HFile)结构
5.3 LSM树数据结构1、简介 传统关系型数据库,一般都选择使用B+树作为索引结构,而在大数据场景下,HBase、Kudu这些存储引擎选择的是LSM树。LSM树,即日志结构合并树(Log-Structured Merge-...
-
大数据 分布式 HBase 的关键流程解析
前言本文隶属于专栏《大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!本专栏目录结构和参考文献请见大数据技术体系正文HBase 客户端会将查询过的 HRegion 的位置信息进行缓存...
-
devops 云计算 系统架构 分布式 运维 为什么软件架构重要?
作者:[美]伦·巴斯等第2章为什么软件架构重要如果架构是答案,那么问题是什么?本章主要从技术角度讨论为什么架构重要。我们将研究13个重要原因。你可以利用它们来推动新架构的创建,或者对已有系统架构进行分析和优化。1 架构可以抑...
-
java-zookeeper 分布式 ZooKeeper的集群部署和启动与关闭
文章目录一、ZooKeeper的集群部署步骤二、ZooKeeper集群启动与关闭 ZooKeeper是一个分布式应用程序协调服务。一个ZooKeeper集群可以存在多个Follower和Observer服务器,但只允许存在...
-
linux Zookeeper 完全分布式(3.5.7)部署(清爽版)
1. 分布式部署1.1 集群规划服务器hadoop102服务器hadoop103服务器hadoop104ZookeeperZookeeperZookeeperZookeeper1.2 解压安装1.2.1 上传安装包上传压缩包...
-
分布式 ELK+Filebeat+zookeeper+Kafka原理和搭建
目录引言一、ZooKeeper介绍 二、Kafka介绍1、为什么需要消息队列(MQ)2、消息队列的好处3、Kafka的特性4、Kafka作为存储系统5、Kafka消费模式一对一一对多 三、Kafka的基础架构1、Kafka架...
-
分布式 大数据框架保姆级安装教程——Zookeeper(3.5.7)
文章目录大数据框架保姆级安装教程——Zookeeper(3.5.7)1.1 分布式安装部署1.2 ZK集群启动停止脚本1.3 客户端命令行操作大数据框架保姆级安装教程——Zookeeper(3.5.7)1.1 分布式安装部署...
-
linux 分布式 RabbitMQ集群搭建
目录1 RabbitMQ集群搭建 2 镜像模式2.1 镜像模式实现 3 HAProxy安装和配置 3.1 .X86架构的CentOS虚拟机中安装HAProxy编辑 3.2 ARM架构的CentOS虚拟机中安装HAProxy...
-
java-zookeeper Zookeeper 伪分布式集群搭建详细步骤
在同一台服务器上,部署一个 3 个 ZooKeeper 节点组成的集群,这样的集群叫伪分布式集群,而如果集群中的 3 个节点分别部署在 3 个服务器上,那么这种集群就叫真正的分布式集群。这里,记录一下搭建一个 3 节点的伪分...
-
大数据 分布式 使用squirrel-sql连接phoenix的Hbase数据库
下载:http://squirrel-sql.sourceforge.net/ 下载成功后,文件名为:squirrel-sql-3.9.0-standard.jar 安装: 双击jar文件或者在cmd中输入命令:j...
-
分布式 实操Hadoop大数据高可用集群搭建(hadoop3.1.3+zookeeper3.5.7+hbase3.1.3+kafka2.12)
前言纯实操,无理论,本文是给公司搭建测试环境时记录的,已经按照这一套搭了四五遍大数据集群了,目前使用还未发现问题。 有问题麻烦指出,万分感谢! PS:Centos7.9、Rocky9.1可用集群配置iphostname系统C...
-
linq c# 大数据 分布式 开发语言 SparkStreaming与Kafka整合
1.3 SparkStreaming与Kafka整合1.3.1 整合简述kafka是做消息的缓存,数据和业务隔离操作的消息队列,而sparkstreaming是一款准实时流式计算框架,所以二者的整合,是大势所趋。二者的整合,...
-
分布式 Kafka基础
1. 用途1. 流量削峰2. 流计算2. Kafka的核心组件在Kafka中,Producer、Broker和Consumer是三个关键的角色,它们在整个消息传递过程中扮演不同的角色和功能:1. **Producer(生产者...
-
分布式 sql 云计算 java 数据仓库 大数据技术之Kafka:一篇文章带你学会Kafka
大数据技术之Kafka:一篇文章带你学会Kafka第1章Kafka概述1.1 消息队列(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求...
-
debian 分布式 zookeeper
zookeeper是什么?分部式系统管理框架,主要来解决分布式应用集群中应用系统的一致性问题:相当于各种分布式应用的 注册中心+文件系统+通知机制用于注册各种分布式应用,存储和管理这些分布式应用的元数据,如果应用或服务本身状...
-
harmonyos 分布式 OpenHarmony 华为 鸿蒙开发 跨Android、iOS、鸿蒙多平台框架ArkUI-X
ArkUI是一套构建分布式应用界面的声明式UI开发框架。它使用极简的UI信息语法、丰富的UI组件、以及实时界面预览工具,帮助您提升移动应用界面开发效率30%。您只需使用一套ArkTS API,就能在Android、iOS、鸿...
-
ruby 分布式 RabbitMQ之发布确认高级
RabbitMQ之发布确认高级一、发布确认 SpringBoot 版本1.1 确认机制方案1.2 代码架构图1.3 配置文件1.4 添加配置类1.5 消息生产者1.6 回调接口1.7 消息消费者1.8 结果分析二、回退消息2...