目录前言Exchange(交换机 的类型与应用 - 交换机的属性1. 直连交换机:Direct Exchange2. 主题交换机:Topic Exchange3. 扇形交换机:Fanout Exchange4....
-
分布式 java spring RabbitMQ之交换机
-
分布式 kafka高吞吐、低延时、高性能的实现原理
作者:源码时代-Raymon老师Kafka的高吞吐、低延时、高性能的实现原理Kafka是大数据领域无处不在的消息中间件,目前广泛使用在企业内部的实时数据管道,并帮助企业构建自己的流计算应用程序。Kafka虽然是基于磁盘做的数...
-
分布式 kafka配置多个消费者groupid kafka多个消费者消费同一个partition(java)
目录1- 单播模式,只有一个消费者组2- 广播模式,多个消费者组3- Java实践kafka是由Apache软件基金会开发的一个开源流处理平台。kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有...
-
spring boot docker-compose docker SpringBoot接入轻量级分布式日志框架GrayLog
1.前言日志在我们日常开发定位错误,链路错误排查时必不可少,如果我们只有一个服务,我们可以只简单的通过打印的日志文件进行排查定位就可以,但是在分布式服务环境下,多个环境的日志统一收集、展示则成为一个问题。目前主流的日志收集服...
-
mongodb hdfs hbase SuperMap分布式数据库实操
SuperMap分布式数据库实操分布式数据库一、 MongoDB1. 特点2. 使用原理3. 数据结构4. 单节点部署1. 下载2. 解压安装3. 配置开机自启动5. 集群部署5.1 主从复制集群5.2 副本集集群安装部署配...
-
java 分布式 调式源码解决 seata 报错 can not get cluster name 问题
最近在使用Spring Cloud整合分布式事务seata,项目启动之后,控制台一直报错:无法在注册配置上找到service.vgroupMapping.nacos-provide-order-seata-service-g...
-
spring cloud dubbo 分布式 java SpringCloud-微服务项目架构
在当今软件开发领域,微服务架构正成为构建灵活、可伸缩、独立部署的应用的首选,微服务架构作为一种灵活而强大的设计模式,通过将系统拆分为独立的、自治的服务,使得应用更容易维护、扩展和升级。本文将探讨微服务项目架构的关键特征和设计...
-
分布式 云原生 Zookeeper(持续更新)
VIP-02 Zookeeper客户端使用与集群特性文章目录VIP-02 Zookeeper客户端使用与集群特性正文Zookeeper 集群模式:Zookeeper集群模式安装配置动态文件Zookeeper分布式锁实战公平锁...
-
分布式 云原生 Zookeeper+Kafka概述
一 Zookeeper1.1 Zookeeper定义Zookeeper是一个开源的、分布式的,为分布式框架提供协调服务的Apache项目。1.2 Zookeeper特点Zookeeper:一个领导者(leader),多个跟随...
-
分布式 【愚公系列】2024年02月 大数据教学课程 016-Hadoop预备知识
作者简介,愚公搬代码 《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,5...
-
java常见面试题:请解释一下Java中的常用分布式框架,如Spring Boot、Dubbo等。
下面我将详细介绍Java中的两个常用分布式框架:Spring Boot和Dubbo。Spring Boot是一个用于创建独立、可运行的、生产级别的Spring应用程序的框架。它简化了Spring应用程序的创建和部署,使得开发...
-
java 数据库 分布式 图解Redis,Redis主从复制与Redis哨兵机制
目录专栏导读一、Redis复制是什么?二、Redis复制能干嘛?三、Redis复制的缺点1、复制延迟2、master宕机四、乐观复制策略五、Redis复制常用命令1、info replication2、replicaof 主...
-
分布式虚拟文件系统,如何实现多种存储系统的融合
随着大数据技术和人工智能技术的发展,各种框架应运而生,比如大数据领域中的MapReduce和Spark,人工智能领域中的TensorFlow和PyTorch等。为了给不同的计算框架提供存储服务,存储的服务类型也是很多,常见的...
-
黑马程序员微服务 第五天课程 分布式搜索引擎2
分布式搜索引擎02在昨天的学习中,我们已经导入了大量数据到elasticsearch中,实现了elasticsearch的数据存储功能。但elasticsearch最擅长的还是搜索和数据分析。所以今天,我们研究下elasti...
-
java jvm 缓存 分布式 Redis系列(8)-Redisson2(使用)
目录分布式对象操作基础类型操作集合类型话题(订阅分发 发布订阅Map元素淘汰机制元素淘汰功能(Eviction)本地缓存功能(Local Cache)分布式锁与同步器非公平锁公平锁读写锁框架级别应用限流器分布式对象通用对象桶...
-
分布式 ID
分布式 ID 介绍什么是 ID?日常开发中,我们需要对系统中的各种数据使用 ID 唯一表示,比如用户 ID 对应且仅对应一个人,商品 ID 对应且仅对应一件商品,订单 ID 对应且仅对应一个订单。我们现实生活中也有各种 ID...
-
java 分布式 带你初识微服务
博客主页:踏风彡的博客 博主介绍:一枚在学习的大学生,希望在这里和各位一起学习。 所属专栏:SpringCloud 文章创作不易,期待各位朋友的互动,有什么学习问题都可在评论区留言或者私信我,我会尽我所能帮助大家。带你认识微...
-
java 分布式项目14 使用dubbo进行系统之间的通信,不用jsonp
使用jsonp技术,前端的ajax需要把方法的datatype写成jsonp,并且在controller类中返回值类型是jsonPObject,这个是特有的java的api,用于jsonp技术。分布式项目可以使用dubbo框...
-
spark 大数据 分布式 数据仓库的数据仓库灾备与恢复:保证数据仓库的可用性和稳定性
1.背景介绍数据仓库是企业中大量的历史数据的集中存储和管理系统,它的数据量巨大,数据更新频繁,对企业业务的稳定运行具有重要的支持作用。因此,保证数据仓库的可用性和稳定性是企业业务发展的关键。数据仓库灾备与恢复是数据仓库可用性...
-
分布式 [Kafka 常见面试题]如何保证消息的不重复不丢失
文章目录Kafka1. Kafka如何保证不丢失消息?生产者数据的不丢失消费者数据的不丢失Kafka集群中的broker的数据不丢失2. Kafka中的消息是否会丢失和重复消费?1. 消息发送2. 消息消费3. Kafka...
-
大数据 spark 数据仓库 分布式 内推|香港外企急招ETL工程师!数据分析师+Python开发+运营专家
2月已过半还在找工作?快来看看有没有适合你的岗位!公司:友邦科技 工作地点:成都市高新区OCG国际中心招聘岗位:ETL工程师 15-18k该岗位为香港项目,需要有数仓或者大数据经验。本科IT或数据相关专业,CET-4及以上...
-
分布式 RabbitMQ ---- Hello World
1. 依赖2. 消息生产者3. 信息消费者本节使用 Java 编写两个程序。发送单个消息的生产者和接收消息并打印出来的消费者。1. 依赖2. 消息生产者* 生产者// 创建一个连接工厂// channel 实现了自动 clo...
-
分布式 异常com.rabbitmq.client.impl.ForgivingExceptionHandler - An unexpected connection driver error occured
在虚拟机的linux系统中安装了RabbitMq后,发现start,stop,restart都很慢。之后在本地window环境网页访问虚拟机的RabbitMq的管理界面时,发现响应也很慢,常常网页超时。新建用户后,在后端项目...
-
分布式 rabbitmq的持久化
目录队列实现持久化 如何删除队列编辑 消息实现持久化不公平分发如何保障当 RabbitMQ 服务停掉以后消息生产者发送过来的消息不丢失。默认情况下 RabbitMQ 退出或由于某种原因崩溃时,它忽视队列和消息,除非告知它...
-
分布式 linq 【中间件】消息中间件之Kafka
一、概念介绍Apache Kafka是一个分布式流处理平台,用于构建实时数据管道和流应用。它可以处理网站、应用或其他来源产生的大量数据流,并能实时地将这些数据流传输到另一个系统或应用中进行处理。核心概念:Topic(主题):...
-
java 分布式 探究:kafka生产者/消费者与多线程安全
目录1. 多线程安全1.1. 生产者是多线程安全的么?1.1. 消费者是多线程安全的么?2. 消费者规避多线程安全方案2.1. 每个线程维护一个kafkaConsumer2.2. [单/多]kafkaConsumer实例 +...
-
大数据 分布式 深入理解 Flink(四)Flink Time+WaterMark+Window 深入分析
深入理解 Flink 系列文章已完结,总共八篇文章,直达链接: 深入理解 Flink (一)Flink 架构设计原理 深入理解 Flink (二)Flink StateBackend 和 Checkpoint 容错深入分析...
-
算法 Zookeeper:分布式系统的指挥家
1.定义ZooKeeper 是一个分布式的协调服务,通常用于协助分布式系统中的各个部分进行协同工作。提供的功能包括:配置维护、域名服务、分布式同步、组服务等。目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功...
-
java 数据库 spring boot 分布式 springcloud——并发请求处理方案
目录1.业务逻辑处理2.数据库层面保底3.利用mysql update行锁4.基于redis控制请求数量5.利用mq进行流量削峰6.使用限流算法7.使用分布式锁生活中的抢购、抢订等活动遍地都是,比如双11抢购商品、抢占活动名...
-
分布式 大数据 云原生 java (五)kafka从入门到精通之topic介绍
1、kafka简介Kafka是一个流行的分布式消息系统,它的核心是一个由多个节点组成的分布式集群。在Kafka中,数据被分割成多个小块,并通过一些复杂的算法在节点之间传递。这些小块被称为Kafka Topic。2、topic...
-
java 分布式 【架构设计】SpringCloud和Dubbo的区别?
作者简介:在职Java架构师,分享Java、架构相关知识 多年工作总结:Java学习路线总结,逆袭Java架构师 技术交流:定期更新Java硬核干货,不定期送书活动、助你实现技术飞跃 关注公众号【程序技术圈】,回复...
-
分布式 云原生 Zookeeper的核心组件与功能
1.背景介绍1. 背景介绍Apache Zookeeper 是一个开源的分布式协调服务,用于构建分布式应用程序。它提供了一种可靠的、高性能的、分布式的协同服务,以解决分布式应用程序中的一些复杂性。Zookeeper 的核心组...
-
debian 分布式 zookeeper注册中心服务异常下线原因排查
zookeeper注册中心服务异常下线原因排查问题及原因 最近接手了一个旧项目,项目分为4个模块,模块之间的采用http通信。通信的http框架是自研的,使用了zookeeper作为注册中心。刚接手不免要debug调试,但...
-
spark 大数据 分布式 数据仓库与数据湖的数据清洗与预处理
1.背景介绍数据仓库和数据湖都是大数据领域中的重要概念,它们在数据存储、管理和分析方面发挥着重要作用。然而,在实际应用中,数据质量和准确性是影响数据分析结果的关键因素。因此,数据清洗和预处理在数据仓库和数据湖的应用中具有重要...
-
大数据 分布式 2.3 初探Hadoop世界
文章目录零、学习目标一、导入新课二、新课讲解(一)Hadoop的前世今生1、Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程(二)Hadoop的优势1、扩容能力强2、成本低3、高效率4、可靠...
-
分布式 big data linux 大数据学习之Hadoop
分布式存储HadoopHDFS一、分布式与集群1.分布式:将多台服务器集中在一起,每台服务器都能实现整个中的不同的业务,可以做不同的事。举例:做一顿年夜饭,一个人的话花费时间会很久,但我可以多叫两个人来帮助我,一个人去买菜,...
-
hdfs mapreduce 分布式 大数据开发之Hadoop(完整版+练习)
第 1 章:Hadoop概述1.1 Hadoop是什么1、Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2、主要解决,海量数据的存储和海量数据的分析计算问题。 3、Hadoop通常是指一个更广泛的概念-...
-
zookeeper 分布式 Kafka集群参数配置说明
Kafka集群参数配置说明Broker 端参数Topic 级别参数JVM 参数操作系统参数Broker 端参数# 指定了 Broker 需要使用的若干个文件目录路径。# 在线上生产环境中一定要为log.dirs配置多个路径,...
-
zookeeper 分布式 Kafka消费者组和offset
新版Kafka已将consumer的位移信息保存在Kafka内部的topic中,即__consumer_offsets topic。如何将多个consumer组成消费者组?同时组成消费者组在消费消息时,对应的offset文件...
-
分布式 大数据内容分享(四):Hadoop总结
目录一、前言二、Hadoop三、数据仓库Hive四、计算引擎Spark五、实时计算流计算引擎Flink六、任务调度器Azkaban七、基于内存型SQL查询引擎Presto八、数据同步工具Sqoop九、数据同步工具DataX十...
-
分布式 java Zookeeper
Zookeeper是什么ZooKeeper是一个分布式协调服务,可用于服务发现、分布式锁、分布式领导选举、配置管理等。ZooKeeper官方架构图如下:这一切的基础,都是ZooKeeper提供了一个类似于Linux文件系统的...
-
ruby 分布式 开发语言 后端 RabbitMQ的生产模型与生产者
1.背景介绍RabbitMQ是一种高性能的开源消息代理,它可以用于构建分布式系统中的消息队列。消息队列是一种异步通信机制,它允许生产者和消费者之间的通信不受彼此的限制。RabbitMQ支持多种消息传输协议,如AMQP、MQT...
-
java 分布式 Kafka经典三大问:数据有序丢失重复
在kafka中有三个经典的问题:如何保证数据有序性如何解决数据丢失问题如何处理数据重复消费这些不光是面试常客,更是日常使用过程中会遇到的几个问题,下面分别记录一下产生的原因以及如何解决。1. 消息有序#kafka 的数据,在...
-
分布式 MQ面试题之Kafka
前言前文介绍了消息队列相关知识,并未针对某个具体的产品,所以略显抽象。本人毕业到现在使用的都是公司内部产品,对于通用产品无实际经验,但是各种消息中间件大差不差,故而本次选择一个相对较熟悉的Kafka进行详细介绍。MQ面试题之...
-
服务器 分布式 ZooKeeper中bin目录4个脚本执行文件详解
ZooKeeper中bin目录4个脚本执行文件详解ZooKeeper中bin目录中有如下4个可执行脚本:这些脚本是 ZooKeeper 的一部分,用于管理和操作 ZooKeeper 实例。用途:这个脚本主要用于清理 ZooK...
-
java 分布式 数据结构 linux Dubbo注册中心
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jZiM5b96-1662083373898 (http://dubbo.io/check.gif ]Dubbo目前支持4种注册中心,(multi...
-
分布式 Kafka相关问题及答案(2024)
1、什么是Kafka,它主要用于什么场景?Kafka是一个分布式流处理平台,由LinkedIn开发并于2011年开源,目前是Apache软件基金会的一个顶级项目。Kafka被设计来允许应用程序高效地处理实时数据流,并具备以下...
-
java 分布式 Dubbo常见面试题及答案
下面是一些常见的 Dubbo 面试题及答案: 1.什么是 Dubbo?它的优点是什么?答:Dubbo是一款高性能、轻量级的开源RPC框架,由阿里巴巴开源。Dubbo具有以下优点:高性能:采用 Netty 网络通...
-
分布式 消息队列之王——Kafka
在学习kafka之前,我们需要先学习Zookeeper,那Zookeeper是什么呢?Zookeeper是一个开源的分布式的,为分布式框架提供协调服务的Apache项目。Zookeeper 工作机制 Z...
-
go语言 系统架构 分布式对象存储学习笔记(四)——元数据服务
分布式对象存储——原理、架构及Go语言实现 胡世杰为了记录对象版本以及其他一些元数据,我们需要将一个新的组件加入我们的架构:元数据服务。什么是元数据系统定义的元数据元数据服务就是提供对元数据的存取功能的服务。元数据指的是对象...