CI/CD是持续集成,持续部署,集成就是开发人员通过自动化编译,发布,测试的手段集成软件,在开发的测试环境上测试发现自己的错误;持续部署是自动化构建,部署,通常也是在测试环境上进行,方便开发人员查看效果。 生产环境的话要谨慎...
-
jenkins分布式构建 jenkinsfile groovy 【运维知识高级篇】超详细的Jenkins教程5(pipeline流水线配置+分布式构建)
-
harmonyos 华为 物联网 鸿蒙开发 分布式 鸿蒙系统:揭秘前端开发的新机遇
众所周知,华为开发者大会2023,宣布不再兼容安卓,同时宣布了“鸿飞计划”,欲与iOS、安卓在市场三分天下,这对中国国产操作系统而言,具有划时代的意义。鸿蒙应用开发的兴起&发展鸿蒙操作系统是华为自主研发的操作系统,它的兴起一...
-
分布式 RabbitMQ的幂等性、优先级队列和惰性队列
文章目录前言一、幂等性1、概念2、消息重复消费3、解决思路4、消费端的幂等性保障5、唯一 ID+指纹码机制6、Redis 原子性二、优先级队列1、使用场景2、如何添加3、实战三、惰性队列1、使用场景2、两种模式3、内存开销对...
-
Python图像处理【23】分布式图像处理
分布式图像处理0. 前言1. Dask 简介2. 使用 Dask 进行分布式图像处理2.1 将 RGB 图像块转换为灰度图像块2.2 使用分布式 Sobel 滤波器检测图像边缘小结系列链接0. 前言Python 已逐渐成为数...
-
分布式 消息中间件 RabbitMQ监控方法以及核心指标
RabbitMQ监控方法以及核心指标1. 监控指标采集2. 使用rabbimq插件采集指标2.1 3.8.0之前版本,使用外部插件暴露2.2 3.8.0之后版本,使用内置插件暴露3. 使用rabbitmq_exporter采...
-
Java 云原生 微服务 分布式与集群,二者区别是什么?
分布式分布式系统是由多个独立的计算机节点组成的系统,这些节点通过网络协作完成任务。每个节点都有自己的独立计算能力和存储能力,可以独立运行。分布式系统的目标是提高系统的可靠性、可扩展性和性能。分布式服务包含的技术和理论负载均...
-
开发语言 分布式 dubbo Error 已解决java.nio.file.DirectoryNotEmptyException异常的正确解决方法,亲测有效!!!
已解决java.nio.file.DirectoryNotEmptyException异常的正确解决方法,亲测有效!!!目录问题分析报错原因解决思路解决方法总结 博主v:XiaoMing_Java在进行文件操作时,特别是需要...
-
分布式 Zookeeper的ZAB协议原理详解
Zookeeper的ZAB协议原理详解如何保证数据一致性。吸收了主从。zk = 数据模型+Watch机制zab zookeeper原子广播协议。ZAB概念ZooKeeper是通过Zab协议来保证分布式事务的最终一致性。Zab...
-
分布式 java 后端 Error 已解决org.apache.zookeeper.KeeperException.InvalidACLException异常的正确解决方法,亲测有效!!!
已解决org.apache.zookeeper.KeeperException.InvalidACLException异常的正确解决方法,亲测有效!!!目录问题分析报错原因解决思路解决方法总结 博主v:XiaoMing_Ja...
-
elasticsearch 大数据 搜索引擎 分布式 es--Elastic Search深度分页问题分析及四种解决方案
1. 简介 Elasticsearch的深度分页是指当你需要查询的结果数量非常多时,需要分页查询的第n页时,每次查询都需要扫描前n-1页的数据来获取结果。这样会导致性能问题,因为它需要很长的时间来完成查询。2. 解决方案S...
-
分布式 RabbitMQ如何保证顺序消费
一、场景介绍很多时候,消息的消费是不⽤保证顺序的,⽐如借助mq实现订单超时的处理。但有些时候,业务中可 能会存在多个消息需要顺序处理的情况,⽐如⽣成订单和扣减库存消息,那肯定是先执⾏⽣成订单的 操作,再执⾏扣减库存的操作。...
-
spark 大数据 分布式 数据仓库与OLAP:实现高效查询
1.背景介绍数据仓库与OLAP:实现高效查询1. 背景介绍数据仓库和OLAP(Online Analytical Processing 是数据管理领域的两个重要概念。数据仓库是一种用于存储和管理大量历史数据的系统,而OLAP...
-
分布式 RabbitMQ 消息对象通过 Jackson 库消息转化器 序列化/反序列化 天坑!
目录1. 报错的背景2. 问题分析3. 最佳解决办法1. 报错的背景a)使用 RabbitMQ 发送消息时,发送消息的类型为 Map,map 里面我 put 了一个 类型,如下图:b)这里有一个前提:我清楚使用 org.s...
-
分布式微服务架构-一起学习吧之架构
分布式微服务架构是一种将应用程序拆分成多个小型服务的架构模式。这种架构模式的目的是提高系统的可扩展性、灵活性和可维护性。分布式微服务架构通过将应用程序拆分成多个独立的服务,并采用轻量级的通信机制和自动化管理工具,提高了系统的...
-
大数据 分布式 离线数仓(五)【数据仓库建模】
前言 今天开始正式数据仓库的内容了, 前面我们把生产数据 , 数据上传到 HDFS , Kafka 的通道都已经搭建完毕了, 数据也就正式进入数据仓库了, 解下来的数仓建模是重中之重 , 是将来吃饭的家伙 !...
-
分布式 云原生 Zookeeper
1.1 Zookeeper 概念 Zookeeper 是一个分布式协调服务,可用于服务发现,分布式锁,分布式领导选举,配置管理等。Zookeeper 提供了一个类似于 Linux 文件系统的树形结构(可认为是轻...
-
java 架构 微服务 分布式 Spring Cloud中的服务路由与负载均衡
Spring Cloud中的服务路由与负载均衡一、服务路由1. 服务发现2. 服务注册3. 服务消费4. 服务提供5. 服务路由实现二、负载均衡1. 负载均衡的概念2. 负载均衡算法3. 负载均衡实现4. 负载均衡策略5....
-
分布式 rpc dubbo Error 已解决org.apache.zookeeper.KeeperException$ConnectionLossException异常的正确解决方法,亲测有效!!!
已解决org.apache.zookeeper.KeeperException$ConnectionLossException异常的正确解决方法,亲测有效!!!目录问题分析报错原因解决思路解决方法总结 博主v:XiaoMin...
-
分布式 学习 Zookeeper笔记
zookeeper相当于一个中介,服务器和客户端对于它来说都是客户所以服务器和客户端都可以理解成本质是服务器,但是都可以当作是客户端,因为都是客户服务器执行的是create操作,客户端执行的是get -w监听操作,这是本质区...
-
分布式 云原生 Zookeeper的业界认可与成功案例分享
1.背景介绍1. 背景介绍Apache Zookeeper是一个开源的分布式协调服务,它为分布式应用提供一致性、可靠性和原子性的数据管理。Zookeeper的核心功能包括集群管理、配置管理、组件同步、分布式锁、选举等。Zoo...
-
分布式 Zookeeper篇——深入认识和学习Zookeeper节点-Znode,涵盖概念以及详细操作节点命令,保姆级教程,超详细、超全面!!!
Znode节点概念Zookeeper是一个分布式的协调服务,它通过维护一个分层的数据结构来存储和管理数据。这个数据结构被称为znode节点。每个znode节点在Zookeeper的命名空间中都有一个唯一的路径,类似于文件系统...
-
分布式 云原生 zookeeper视频教程,不可多得的干货
前言说真的,在 Java 使用最多的集合类中,List 绝对占有一席之地的,它和 Map 一样适用于很多场景,非常方便我们的日常开发,毕竟存储一个列表的需求随处可见。尽管如此,还是有很多同学没有弄明白点击领取2024完整开源...
-
分布式 解决RabbitMQ因磁盘刷满导致无法服务
RabbitMQ配置文件默认的日志级别为INFO,一定时间后可能会导致日志将磁盘刷满导致MQ无法正常提供服务。 由于我是用Docker部署RabbitMQ,即使挂载了配置文件相关的目录也查看不了...
-
分布式 (18)不重启服务动态停止、启动RabbitMQ消费者
我们在消费RabbitMQ消息的过程中,有时候可能会想先暂停消费一段时间,然后过段时间再启动消费者,这个需求怎么实现呢?我们可以借助RabbitListenerEndpointRegistry这个类来实现,它...
-
java-rabbitmq 分布式 使用RabbitMQ死信队列关闭未支付的订单
一、什么是RabbitMQ死信队列RabbitMQ死信队列(Dead-Letter Exchange,简称DLX)是一种特殊类型的交换机,用于处理在队列中无法被消费的消息。当消息无法被消费时,它会被转发到死信队列中,以便进一...
-
分布式 RabbitMQ 模型
1:hello world体验最直接的方式,P端发送一个消息到一个指定的queue,中间不需要任何exchange 规则。C端按queue方式进行消费。 关键代码:(其实关键的区别也就是几个声明上的不同。 producer...
-
分布式 rabbitmq连接特别慢 一直连接超时 An unexpected connection driver error occured
连接linux上的rabbitmq时,特别慢一直出现An unexpected connection driver error occured 或者 连接超时等异常。如下:造成这个问题的原因大概有三种:一、配置文件rabbi...
-
大数据 分布式 利用Hadoop进行数据湖构建与管理
利用Hadoop进行数据湖构建与管理一、引言在大数据的时代,数据的增长速度已经远超过了传统的数据处理和存储能力。为了解决这个问题,数据湖的概念应运而生。数据湖是一个集中式的存储和处理平台,可以存储各种类型的数据,而不需要事先...
-
分布式 Kafka消息可视化工具-Offset Explorer使用
目录一、下载安装二、软件配置◼ 下载安装完毕,进行新增连接◼ 查看数据一、下载安装(1)官网下载Offset Explorer,下载地址:Offset Explorer(2)根据自己的电脑的对应版本进行下载,(3) 下载之后...
-
分布式 java Kafka SASL认证/消费和生产者使用示例
版本信息组件版本kafkakafka_2.11-2.2.1kafka java客户端kafka-clients-2.4.1.jar一、Kafka集群配置定义Kafka集群认证配置文件 kafka_server_jaas.co...
-
微服务 分布式 java 服务拉取不到Nacos配置?
今天第一次拉取nacos配置文件踩坑了,总结以下几点(1: 检查是否有application.yml文件和bootstrap.yml文件微服务要拉取nacos中管理的配置,并且与本地的application.yml配置合并,...
-
分布式协议Raft和Paxos详解
一、Raft是一种相对简化的分布式一致性算法,它由Diego Ongaro和John Ousterhout于2013年提出。与Paxos相比,Raft的设计目标是使一致性问题更易于理解、实现和部署。Raft协议核心思想是将一...
-
java 中间件 分布式 RabbitMQ工作模式
RabbitMQ工作模式1.简单模式1.1 模式介绍一个生产者、一个消费者、不需要设置交换机(使用默认交换机)1.2 代码测试生产者// 1.创建连接工厂// 2.设置初始化参数// 设置ip 默认 localhost//...
-
spring cloud 分布式之SpringCloud
一、SpringCloud1、SpringCloud是什么Spring Cloud是一系列框架的有序集合,这些框架为我们提供了分布式系统构建工具。2、SpringCloud包含那些项目项目项目名称服务注册于发现Alibaba...
-
服务器 分布式监控平台-Zabbix
分布监控平台-Zabbix一、Zabbix概述1、Zabbix是什么?2、Zabbix监控原理二、部署Zabbix服务端(端口:10051)1、关闭防火墙 修改主机名2、获取Zabbix下载资源3、安装SCL(Softwar...
-
经验分享 【观点】区块链的未来:分布式商业;企业的未来:分布式商业生态战略
本文内容摘自思二勋所著的《分布式商业生态战略》一书。近两年,商业经济环境的不确定性越来越明显,市场经济受到疫情、技术、政策等多方因素影响越来越难以预测,黑天鹅事件时有发生。在国内外经济方面,国际的地缘政治对商业经济产生着重大...
-
网络协议 分布式【RPC 常见面试题】
一、注册中心策略:服务注册原理、注册中心结构、zookeeper的原理、几个注册中心的区别、分布式算法、分布式事务。项目细节:服务注册、服务发现、服务注销、监听机制介绍一下服务注册中心怎么做的? (1)服务发现:服务注册/反...
-
文件存储桶 高性能、可扩展、分布式对象存储系统MinIO的介绍、部署步骤以及代码示例
详细介绍MinIO 是一款流行的开源对象存储系统,设计上兼容 Amazon S3 API,主要用于私有云和边缘计算场景。它提供了高性能、高可用性以及易于管理的对象存储服务。以下是 MinIO 的详细介绍及优缺点:架构与特性:...
-
网络协议 【分布式websocket】群聊中的各种难点以及解决推拉结合【第16期】
前言群聊中未读消息如何设计,以及是推消息还是拉去消息如何选择是需要讨论的。推送消息是推送全量消息还是推送信号消息让客户端再去拉取。其中方案如何选型会比较纠结。 首先基本的推拉结合思路是在线用户推送消息。用户离线的话上线去拉取...
-
数据库 分布式 TiDB 7.4 发版:正式兼容 MySQL 8.0
MySQL 是全球最受欢迎的开源数据库,长期位于 DB-Engines Ranking 排行榜第二名,在世界范围内拥有数量庞大的企业用户和开发者。然而,随着时间的推移,MySQL 用户正面临新挑战。Oracle 官宣将在 2...
-
ruby 分布式 ERROR com.rabbitmq.client.impl.ForgivingExceptionHandler - An unexpected connection driver error occ
问题描述Java访问远程服务器的RabbitMQ失败我的问题导入依赖配置文件host: 154.xx.xx.xx # 远程服务器的地址username: test # 用户名password: 1234 # 密码测试代...
-
分布式 RabbitMQ
一、RabbitMQ介绍RabbitMQ 是一个开源的、基于 AMQP 协议的消息代理服务器。它可以用作消息系统,用于在分布式系统中存储和转发消息。RabbitMQ 最初由 VMware 的子公司 Rabbit Techno...
-
spring cloud java 分布式 SpringCloud-Ribbon
1.Ribbon介绍Ribbon 是 Spring Cloud 技术栈中非常重要的基础框架,它为 Spring Cloud 提供了负载均衡的能力,比如 Fegin 和 OpenFegin 都是基于 Ribbon 实现的,就连...
-
golang java go-zero和dtm分布式事务实现
鱼弦:CSDN内容合伙人、CSDN新星导师、51CTO(Top红人+专家博主 、github开源爱好者(go-zero源码二次开发、游戏后端架构 https://github.com/Peakchen)go-zero是一个...
-
分布式 RabbitMQ入门指南
人生永没有终点。只有等到你瞑目的那一刻,才能说你走完了人生路,在此之前,新的第一次始终有,新的挑战依然在,新的感悟不断涌现。文章目录一、MQ与RabbitMQ概述1. MQ简述2. MQ的优势3. MQ的劣势4. 常见的MQ...
-
分布式 rabbitmq的六种工作模式
RabbitMQ是一种流行的消息队列中间件,它支持多种工作模式来满足不同的消息通信需求。以下是RabbitMQ常用的六种工作模式:简单模式(Simple Mode):也称为点对点模式(Point-to-Point Mode)...
-
分布式 java 后端 微服务 消息中间件之八股面试回答篇:三、RabbitMQ如何解决消息堆积问题(100万条消息堆积)+RabbitMQ高可用性和强一致性机制+回答模板
RabbitMQ中的消息堆积问题当生产者发送消息的速度超过了消费者处理消息的速度,就会导致队列中的消息堆积,直到队列存储消息达到上限。之后发送的消息就会成为死信,可能会被丢弃,这就是消息堆积问题。解决消息堆积有三种种思路:增...
-
golang go 分布式 MIT6.824-lab1-2022篇(万字推导思路及代码构建)
文章目录前言一、背景知识二、搭建实验环境三、lab正文1.提示2.思路3.实现四、lab测试过程五、lab1收获前言为了学这个lab1也是踩了很多坑…记录下此篇是希望让我自己的学习不只是走马观花一遍而过,也是给对Lab1一点...
-
分布式 微服务 阿里大佬力荐K8s项目实战笔记,深入浅出Kubernetes核心原理与实战应用
一、前言Kubernetes(简称K8s)是一款开源的容器集群管理系统,它能够实现容器集群的自动化部署、自动扩缩容以及维护等功能。作为一款容器编排工具,Kubernetes同时也是基于容器技术的分布式架构领先方案。在Dock...
-
分布式锁解决方案之数据库乐观锁实现的分布式锁
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 分布式锁解决方案之数据库乐观锁实现的分布式锁提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、什么是乐观...