文章目录Spark01 —— Spark基础一、为什么选择Spark?1.1 MapReduce编程模型的局限性1.2 Spark与MR的区别1.3 版本1.4 优势1.5 Spark其他知识1、多种运行模式2、技术栈3、s...
-
大数据 分布式 Spark01 —— Spark基础
-
大数据 伪分布式hadoop+spark+scala 超详细搭建
目录安装伪分布式hadoop安装 JAVA 环境实现免密登陆Hadoop环境的安装与配置安装伪分布式spark 安装伪分布式scala安装伪分布式hadoop安装 JAVA 环境步骤一:下载 JDK 安装包(jdk-8u15...
-
分布式事务 分布式 Apache Seata如何解决TCC 模式的幂等、悬挂和空回滚问题
title: 阿里 Seata 新版本终于解决了 TCC 模式的幂等、悬挂和空回滚问题 author: 朱晋君 keywords: [Seata、TCC、幂等、悬挂、空回滚] description: Seata 在 1.5...
-
大数据 分布式 运维 hadoop Hive-启动与操作(2)
磊磊【大数据学习记录篇】-持续更新中~磊磊个人主页:beixi@ 本文章收录于专栏(点击传送):【大数据学习】持续更新中,感谢各位前辈朋友们支持学习~上一篇文章写到了Hive的安装与配置,这篇文章接着上篇文章延伸Hi...
-
【已解决】伪分布式Hadoop服务已经开启,但是无法访问http://localhost:9870(缺少NameNode进程)\http://localhost:8088
一、问题描述使用如下方法启动成功hadoop服务进入相应文件夹首先停止启动所有的节点,使用命令行启动stop-all.sh脚本解决方法是首先停止启动所有的节点,使用命令行启动stop-all.sh脚本:使用jps命令查看当前...
-
分布式 3分钟带你彻底搞懂 Kafka
实时数据处理,从名字上看,很好理解,就是将数据进行实时处理,在现在流行的微服务开发中,最常用实时数据处理平台有 RabbitMQ、RocketMQ 等消息中间件。这些中间件,最大的特点主要有两个:服务解耦 流量削峰在早期的...
-
柚子快报邀请码778899分享:架构 分布式 kafka
Kafka 架构深入1,Kafka 工作流程及文件存储机制注意:producer不在zk中注册,消费者在zk中注册。1.1工作流程1,Kafka 中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向 to...
-
java 分布式 kafka常见面试题
目录什么是 Kafka?Kafka 和传统消息队列有什么不同?Kafka 的主要组件是什么?它们各自的作用是什么?Kafka 的消息保证模式有哪些?它们之间有什么区别?如何确保 Kafka 集群的高可用性和容错性?Kafka...
-
柚子快报激活码778899分享:分布式 RabbitMQ实战
文章目录1、简介2、MQ优点缺点MQ的应用场景AMQP工作原理市面上常见的MQ3、Linux安装RabbitMQ3.1 版本对应3.2 安装socat3.3 下载 Erlang/OTP、安装、验证 erlang方法一:1....
-
分布式 深入Kafka client
分区分配策略客户端可以自定义分区分配策略, 当然也需要考虑分区消费之后的offset提交, 是否有冲突。消费者协调器和组协调器a. 消费者的不同分区策略, 消费者之间的负载均衡(新消费者加入或者存量消费者退出 , 需要bro...
-
ruby 分布式 【认识】RabbitMQ:基本用法和说明
1.简介 2.准备工作 3.引入RabbitMQ和SLF4J 4.生产者示例 5.消费者示例 6.演示结果模拟 7.业务场景的使用7.1描述7.2方案设计7.3代码示例8.总结1.简介:RabbitMQ是一个开源的消息代理软...
-
分布式 kafka生产者异步发送、同步发送、回调异步发送,是什么情况?
目录标题一、异步发送二、同步发送三、回调异步发送Kafka是一种分布式流处理平台,它是一种高吞吐量、可扩展、可持久化的消息队列系统,用于处理和存储实时流式数据。Kafka基于发布-订阅模式,采用了分布式、多副本、分区的架构。...
-
Java必备技能之实战篇 (使用nginx实现分布式限流),mybatis运行原理面试
一般对外暴露的系统,在促销或者黑客攻击时会涌来大量的请求,为了保护系统不被瞬间到来的高并发流量给打垮, 就需要限流本文主要阐述如何用nginx 来实现限流. Hystrix 也是可以的 。2.编码-首先部署一个对外暴露接口...
-
ruby 分布式 RabbitMQ安装与卸载
前言本文讲解 RabbitMQ 安装与卸载,在此之前先看下消息队列的相关概念。1.什么是消息队列消息(Message)是指在应用间传送的数据。消息可以非常简单,比如只包含文本字符串,也可以更复杂,可能包含嵌入对象。消息队列(...
-
深入理解Apache Kafka的分布式流处理
1.背景介绍分布式流处理是一种处理大规模、实时数据流的技术,它具有高吞吐量、低延迟、高可扩展性和高可靠性等特点。Apache Kafka是一种分布式流处理平台,它可以处理大量实时数据,并将数据存储到持久化的主题中。Kafka...
-
分布式 深入了解 Kafka 和 Pulsar 的区别
在本篇博文中,我们将深入探讨 Apache Kafka 和 Apache Pulsar 之间的主要区别。通过研究这两个消息传递系统的核心区别和独特功能,我们希望让您初步了解它们的核心机制和实现。我们希望这种分析不仅能帮助您在...
-
分布式 不愧是Alibaba技术官,Kafka的精髓全写这本“限量笔记”里,服了
前言分布式,是程序员必备技能之一,在面试过程中属于必备类的,在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列,目前它的魅力是无穷的,对于Kafka的奥秘,还需要我们细细去探寻。要谈对Kafka有多熟悉...
-
linq 分布式 Kafka MQ 生产者
Kafka MQ 生产者生产者概览尽管生产者 API 使用起来很简单,但消息的发送过程还是有点复杂的。图 3-1 展示了向 Kafka 发送消息的主要步骤。我们从创建一个 ProducerRecord 对象开始,Produc...
-
ruby 分布式 RabbitMQ 消息队列,介绍,集群部署
生产者发送消息到 broker server(RabbitMQ),在 Broker 内部,用户创建Exchange/Queue,通过 Binding 规则将两者联系在一起,Exchange 分发消息,根据类型/binding...
-
分布式 RabbitMQ(五)之延迟消息
延迟消息:生产者发送消息时指定一个时间,消费者不会立刻收到消息,而是在指定时间之后才收到消息。延迟任务:设置在一定时间之后才执行的任务延迟消息的实现有两种:死信交换机,延迟消息插件。一、死信交换机 当一个队列中的消息满足下列...
-
git最详细的分布式版本控制工具使用攻略,2024年最新java架构师课程网盘
git reset --hard HEAD^^ 回退上N个版本 几个^^表示回退几个版本回退指定版本回退未来版本使用命令 查看所有历史命令 git reflogc、暂存区和工作区操作撤销sataged翻译:阶段 restor...
-
分布式 理解RabbitMQ中的AMQP-0-9-1模型
Type:交换器的类型。Durability:(交换器 持久化特性,如果启动此特性,则Broker重启后交换器依然存在,否则交换器会被删除。Auto-delete:是否自动删除,如果启用此特性,当最后一个队列解除与交换器的绑...
-
分布式 轻松玩转消息通信:SimpleAmqpClient 和 RabbitMQ 在C++中的终极指南
Rabbmq服务端安装这里我使用docker安装rabbitmq服务端,没有安装的就先去看其他的博客安装rabbitmq或者docker#拉取rabbitmq#运行rabbitmq,记得打开防火墙端口访问网页后台管理页面#h...
-
分布式 erlang RabbitMQ3.13.x之二
RabbitMQ3.13.x之二_RabbitMQ所有端口说明及开启后台管理功能文章目录RabbitMQ3.13.x之二_RabbitMQ所有端口说明及开启后台管理功能1. RabbitMQ端口说明2. 开启Rabbitmq...
-
分布式 RabbitMQ消息可靠性(二)-- 消费者消息确认
一、消费者消息确认是什么?在这种机制下,消费者在接收到消息后,需要向 RabbitMQ 发送确认信息,告知 RabbitMQ 已经接收到该消息,并已经处理完毕。如果 RabbitMQ 没有接收到确认信息,则会将该消息重新加入...
-
自动化测试 功能测试 软件测试 程序人生 大数据测试:构建Hadoop和Spark分布式HA运行环境
随着大数据技术的不断发展,Hadoop和Spark已成为处理大规模数据的热门框架。在生产环境中,高可用性(HA)是至关重要的,以确保数据处理和分析任务不受中断。本文将详细介绍如何构建 Hadoop和Spark分布式HA运行环...
-
基于Linux环境下搭建Hadoop3.3.5伪分布式集群
目录架构设计:一、下载hadoop安装包二、解压及构建软连接三、 修改配置文件1. 配置workers文件 //hadoop02中叫slaves2. 修改hadoop-env.sh 3. 修改core-s...
-
大数据 分布式 hadoop 常用命令
slave 节点重启(停止、启动) datanode 服务: $ ./sbin/hadoop-daemon.sh stop datanode $ ./sbin/hadoop-daemon.sh start datanode查...
-
大数据 分布式 windows无法使用hadoop报错:系统找不到路径
在windows下安装hadoop-3.1.4,进行环境变量配置后,打开window命令行窗口测试hadoop命令,报错,如图所示:方案:由于JAVA_HOME路径有空格导致,可修改hadoop下\etc\...
-
大数据 分布式 Hadoop平台搭建(一)
一、创建虚拟机 1.选择自定义创建 2.选择稍后安装系统 3.处理器数量2,单个处理器内核4个 4.分配内存量4g 5.新建虚拟磁盘:master40g,...
-
大数据 分布式 Hadoop 3.1.3
第1章 Hadoop概述1.1 Hadoop是什么1.2 Hadoop发展历史(了解)1.3 Hadoop三大发行版本(了解)Hadoop三大发行版本:Apache、Cloudera、Hortonworks。Apache版本...
-
大数据 分布式 Hadoop入门概论
Hadoop入门概论一、分布式系统和集群分布式和集群的区别分布式的基础架构分布式系统的常见组织形式什么是主从模式?Hadoop是哪种模式?二、Hadoop基础框架概论Hadoop是什么?Hadoop 优势Hadoop组成HD...
-
大数据 Hadoop分布式集群原理及实践
Hadoop基础什么是Hadoop?Hadoop是一个开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。由Apache Software Foundation维护,它是基于Java编程语言的,并且...
-
分布式 前端 寻找hadoop、hive、spark对应版本
1、spark对应的环境2、找spark和hive版本3、找hadoop版本进入hive官网https://hive.apache.org/downloads.html,可以看到hive对应的hadoop版本...
-
大数据 分布式 Spark调优解析-GC调优3(七)
1 GC调优Spark立足内存计算,常常需要在内存中存放大量数据,因此也更依赖JVM的垃圾回收机制。与此同时,它也兼容批处理和流式处理,对于程序吞吐量和延迟都有较高要求,因此GC参数的调优在Spark应用实践中显得尤为重要。...
-
【踩坑日常】解决 ClickHouse 分布式表重建引发的元数据异常问题Existing table metadata in ZooKeeper differs in primary key.
🏆项目场景:在线上分布式 ClickHouse 数据表结构需要调整,这要求删除现有的分布式表,并重新创建(DDL 发生变化)。然而,删除表后重新创建时可能会出现 Code: 342. DB::Exception: Exist...
-
分布式 云原生 ZooKeeper 简介
1、概念介绍ZooKeeper 是一个开放源码的分布式应用程序协调服务,为分布式应用提供一致性服务的软件,由雅虎创建,是 Google Chubby 的开源实现,是 Apache 的子项目,之前是 Hadoop 项目的一部分...
-
分布式 spring 后端 java Zookeeper服务注册与发现实战
目录设计思路Zookeeper注册中心的优缺点SpringCloudZookeeper实现微服务注册中心 第一步:在父pom文件中指定Spring Cloud版本第二步:微服务pom文件中引入Spring Cloud Zoo...
-
java-zookeeper ZooKeeper分布式应用程序协调服务
目录一.ZooKeeper基本介绍1.ZooKeeper是什么?2.ZooKeeper的工作机制3.ZooKeeper的特点4.ZooKeeper的数据结构5.ZooKeeper的应用场景5.1 统一命名服务5.2 统一配置...
-
服务器 分布式 zookeeper原理篇-Zookeeper会话机制
在sessionTracker初始化的时候,会调用initializeNextSession来生成session,算法大概如下:从这段代码,我们可以看到session的创建大概分为以下几个步骤:1.获取当前时间的毫秒表示我们...
-
分布式 云原生 Zookeeper 是如何解决脑裂问题的?
Zookeeper是一种分布式协调服务,它通过其强大的机制和数据模型来处理各种分布式系统中的问题,包括脑裂(split-brain)问题。脑裂问题通常发生在网络分区的情况下,当网络中两个或更多的子网络仍然认为自己是主集群的一...
-
大数据 搜索引擎 分布式 【ElasticSearch】分片分配策略详解(设计目标&执行策略)
什么是分片集群由多个节点组成,每个节点上有多个索引 Elasticsearch 索引实际上只是一个或多个物理分片的逻辑分组,其中每个分片实际上是一个独立的索引。分片上的段文件是实际存储的数据。分为主、副,索引中主分片的数量在...
-
架构 微服务之分布式理论zookeeper概述
一、分布式技术相关的理论CAP理论CAP定理(CAP theorem ,⼜被称作布鲁尔定理(Eric Brewer ,1998年第⼀次提出. 最初提出是指分布式数据存储不可能同时提供以下三种保证中的两种以上: (1 ⼀致...
-
java gateway Apache ShenYu分布式网关安装&部署&使用文档
Apache ShenYu分布式网关安装&部署&使用文档前言一、Apache ShenYu网关介绍二、ShenYu网关安装部署教程环境准备1. ShenYu网关源码下载2. 执行sql创建数据库3. 启动ShenyuAdmi...
-
ruby 分布式 RabbitMQ(六)消息的持久化
目录一、简介1.1 定义1.2 消息丢失的场景二、交换机的持久化方式一:直接 new方式二:channel.exchangeDeclare( 方式三:ExchangeBuilder【推荐】三、队列的持久化方式一:直接 new...
-
数据库 后端 经验分享 分布式 图文详解Redis中常见的缓存问题及解决方案:缓存更新策略,缓存穿透,缓存雪崩,缓存击穿
目录一.缓存技术与RedisRedis作为缓存的原因二.缓存更新策略场景示例三.缓存问题缓存穿透解决方案:缓存空对象解决方案:布隆过滤缓存雪崩解决方案缓存击穿解决方案:互斥锁解决方案:逻辑过期一.缓存技术与Redis缓存是计...
-
分布式 RabbitMQ(三):AMQP协议
- [7、通道](#7_151 - [8、虚拟主机](#8_154 1 AMQP协议1.1 AMQP协议介绍因为RabbitMQ是一种遵循AMQP协议的分布式消息中间件,RabbitMQ实现的AMQP版本是0.9.1,所以在...
-
分布式 windows下 安装 rabbitMQ 及操作常用命令
新增一个用户:此时来看下我们当前用户哈:eric 后面没有“[administrator]”这个administrator是干嘛用的呢?这就涉及到用户角色问题了:按照我个人理解,rabbitmq用户角色可分为五类:超级管理员...
-
28天高效突击大礼包:微服务+分布式+框架+性能优化,学习笔记、面试文档全都有(2)
进阶篇:深度学习(P8大神手写笔记)笔记①:Redis学习笔记笔记②:Spring Boot核心技术笔记笔记③:SpringMVC开发笔记笔记④:Kafka学习笔记笔记⑤:MySQL调优笔记(技巧篇)篇幅有限,更多笔记内容,...
-
java spring cloud 分布式事务--Seata
文章目录分布式事务--Seata一、事务的ACID原则二、CAP定理三、BASE理论四、分布式事务模型五、Seata架构六、XA模式原理6.1 seata的XA模式6.2 seata的XA的优缺点6.3 实现XA模式七、AT...