一、RabbitMQ入门浏览器访问RabbitMQ的官网RabbitMQ官网我们点击上方的菜单Features查看RabbitMQ的主要特性上面介绍了一下RabbitMQ的特性:1、异步消息传递:支持多种消息传递协议、消息队...
-
分布式 RabbitMQ安装和使用详细教程
-
分布式 RabbitMQ-如何保证消息不丢失
RabbitMQ常用于 异步发送,mysql,redis,es之间的数据同步 ,分布式事务,削峰填谷等.....在微服务中,rabbitmq是我们经常用到的消息中间件。它能够异步的在各个业务之中进行消息的接受和发送,那么如何...
-
spring boot ci/cd 分布式 SpringBoot整合GitLab-CI实现持续集成
写在前面个人主页:微枫Micromaple✨本期专栏:《0到1项目搭建》欢迎订阅学习~源码获取:GitCode、GitHub、码云Gitee 持续更新中,别忘了 star 喔~在企业开发过程中,我们开发的功能或者是修复的...
-
spring boot Zeus IoT : 基于 SpringBoot 的分布式开源物联网大数据平台
Zeus IoT 是一个集设备数据采集、存储、分析、观测为一体的开源物联网平台,全球首创基于 Zabbix 的物联网分布式数据采集架构,具备超百万级物联网设备的并发监控能力,真正具备工业级性能与稳定性的开源物联网大数据中台。...
-
spring cloud 微服务 分布式 SpringCloud-Ribbon实现负载均衡
在微服务架构中,负载均衡是一项关键的技术,它可以确保各个服务节点间的负载分布均匀,提高整个系统的稳定性和性能。Spring Cloud 中的 Ribbon 就是一种负载均衡的解决方案,本文将深入探讨 Ribbon 的原理和在...
-
大数据 分布式 Spark--一文了解WebUI
文章目录前言一、认识Spark UI二、Jobs2.1 了解jobs2.2 关于job我们需要知道的小知识2.2.1 多个job可以并行执行吗2.2.2 job是如何划分的2.2.3 job detai中为什么有些stage...
-
分布式 RabbitMQ的消息批量发送与消息批量消费
1.背景介绍在分布式系统中,消息队列是一种常见的异步通信方式,可以帮助系统的不同组件之间进行通信。RabbitMQ是一种流行的消息队列系统,它支持多种消息传输模式,包括点对点(P2P 、发布/订阅(Pub/Sub 和主题(T...
-
分布式 RabbitMQ 的基本概念
一 MQ 的基本概念1 MQ概述MQ全称 Message Queue(消息队列),是在消息的传输过程中保存消息的容器。多用于分布式系统之间进行通信。消息队列就是所谓的存放消息的队列。 消息队列解决的不是存放消息的队列的⽬的,...
-
Spark大数据分析与实战笔记(第三章 Spark RDD弹性分布式数据集-01)
文章目录每日一句正能量第3章 Spark RDD弹性分布式数据集章节概要3.1 RDD简介3.2 RDD的创建方式3.2.1 从文件系统加载数据创建RDD3.2.2 通过并行集合创建RDD每日一句正能量学如积薪,后来者居上。...
-
java 分布式 天荒地老修仙功-第七部:Dubbo基本使用与原理详解
文章目录一、基础知识1、分布式基础理论1.1、什么是分布式系统?1.2、发展演变1.2.1 单一应用架构1.2.2 垂直应用架构1.2.4 分布式服务架构1.2.4 流动计算架构2、dubbo核心概念2.1、简介2.2、基本...
-
c++ 1024程序员节 【分布式】NCCL部署与测试 - 01
摆烂了整整一年。 工作的事情,真的影响心情。目录NCCL相关系列简述背景集合通讯P2P,点对点通信CC, 集合通信Broadcast, 广播Scatter,单发多收Gather,多发单收All GatherReduceAll...
-
运维 【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境
网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正分布式集群的教程很零散,坑很多, 把经验做了整理, 避免趟坑。一、安装Docker Hadoop3.X分布式集群1、机器环境这里采用三台机器...
-
spring cloud 微服务技术栈SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式(二):Nacos注册中心、Feign远程调用、Gateway服务网关
...
-
hadoop 大数据 bigdata 分布式 14、HDFS 透明加密KMS
Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证 2、HDFS操作 - shell客户端 3、HDFS的使用(读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及...
-
大数据 分布式 基于Spark协同过滤的农产品个性推荐系统
介绍本系统是一个基于Python技术栈开发的农产品在线交易平台。通过集成了pyspark、hadoop、django、scrapy、vue、element-plus等多个优秀开源框架,实现了全方位的功能覆盖,并采用了协同过滤...
-
大数据 分布式 Hadoop 在电商领域的应用:数据驱动的营销和销售
1.背景介绍电商是一种通过互联网进行商品和服务交易的新型贸易形式。随着互联网的普及和人们生活中越来越多的事物都变得数字化,电商已经成为现代社会中不可或缺的一部分。电商平台为消费者提供了方便快捷的购物体验,为商家提供了广阔的市...
-
分布式软件开发的相关技术
分布式计算和系统架构:理解分布式计算的基本概念、原理和架构模式,如客户端-服务器架构、微服务架构、大规模集群等。网络通信与协议:掌握网络通信的基本知识和常用的网络协议,如TCP/IP、HTTP、RESTful API等。分布...
-
java 分布式 MQ常见面试题
1.什么是消息队列?消息队列是一种分布式系统中的通信方式,它通过异步传输消息的方式来解耦消息的生产者和消费者。在消息队列中,生产者将消息发送到一个中心化的队列中,然后消费者从队列中取出消息进行处理。 ...
-
python 开发语言 前端 分布式 fastapi Pytest框架 — 2.Pytest的基本使用(一)
1、Pytest安装CMD命令窗口执行Pytest测试框架安装命令:pip install -U pytest(意思是如果没有安装,就进行安装,如果已安装就升级到最新版)检查Pytest测试框架是否安装成功:pytest –...
-
人工智能 分布式链路追踪在数字化金融场景的最佳实践
作者 | 张冀责编 | Carol出品 | CSDN(ID:CSDNnews)【CSDN 编者按】在以微服务和容器化为主导应用的现代化浪潮下,系统的可观测性变得越来越重要,而链路追踪技术就成为软件系统实现“无人驾驶”的关键手...
-
数据库 数据分析 数据挖掘 github python 分布式 《MySQL 简易速速上手小册》第4章:数据安全性管理(2024 最新版)
文章目录4.1 用户认证和权限控制4.1.1 基础知识4.1.2 重点案例:使用 Python 管理 MySQL 用户权限4.1.3 拓展案例4.2 防止 SQL 注入和其他安全威胁4.2.1 基础知识4.2.2 重点案例:...
-
科技 技术美术 大数据 云计算 分布式 腾讯第二季度财报未超出预期,否认出售美团,戏耍消费者接盘?
腾讯今天发布了第二季度财报,收入和利润均低于预期。总收入为1340亿元人民币(200亿美元),略低于1346亿元人民币的平均估计,同比下降3%。公司股东应占利润186.2亿元,低于预期的252.8亿元,同比下降56%。其净利...
-
分布式 (二十五)大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
前言本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装,使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前,我们要预先搭建好zoo...
-
分布式 Kafka入门笔记(一) --kafka概述+kafka集群搭建
文章目录前言一、Kafka概述1、定义2、消息队列1 MQ传统应用场景2 消息队列的两种模式3、kafka基础架构二、Kafka安装部署1、集群规划2、kafka集群部署前言之前有个项目需要用到消息队列;经过项目组的讨论...
-
jmeter-windows搭建分布式压测环境
1. 前置条件1.1 先准备至少两台以上windows服务器,一台做master,一台做slave,如有两台(172.16.0.1, 172.16.0.2)1.2 两台服务器网络需互通,关闭防火墙1.3 两台服务器已安装相同...
-
分布式 如何为Kafka加上账号密码(二)
认证策略SASL/PLAIN上篇文章中我们讲解了Kafka认证方式和基础概念,并比较了不同方式的使用场景。我们在《2024年了,如何更好的搭建Kafka集群?》中集群统一使用PLAINTEXT通信。Kafka通常是在内网使用...
-
分布式 kafka与hbase的区别
Kafka 和 HBase 是两个不同的分布式数据存储系统,它们可以在大数据应用中发挥不同的作用。Kafka 是一个高吞吐量的分布式发布订阅消息系统,主要用于处理实时数据流。它具有以下特点:高性能:Kafka 能够以非常高的...
-
大数据 分布式 数据采集——hadoop安装时出现问题(此时不应有 \hadoop-3.1.3\bin\。)
本来是想写windows下hadoop安装教程的,装到最后出了这个问题,试了很多方法,气笑了。详细的安装教程网上都有,还是记录下报错的解决办法吧。首先,配置hadoop-3.1.3\etc\hadoop目录下的三个文件时,注...
-
大数据 分布式 Hadoop常见问题
报错1 :is group-writable, and the group is not root. Its permissions are 0775,datanode启动时,日志报错从报错可以看出,hadoop的目录结...
-
大数据 分布式 hadoop面试题
0. 思维导图1. HDFS的架构♥♥ HDFS主要包括三个部分,namenode,datanode以及secondary namenode。这里主要讲一下他们的作用:namenode主要负责存储数据的元数据信息,不存储实...
-
大数据 分布式 简单讲讲在一台机器上用docker部署hadoop HDFS
为什么写这篇文章?老东西叫我用vmvare部署hadoop,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compose来部署简单的hadoop集群范例写在前面,一...
-
【Quartz】分布式定时任务
初识QuartzQuartz 是一个功能丰富的开源作业调度库,几乎可以集成到任何 Java 应用程序中。GitHub友情连接核心任务 Job 定义定时任务的具体执行内容。 JobDetail 表示一个具体的可执行的调度程序...
-
分布式文件存储系统MinIO
分布式文件存储系统MinIO目录分布式文件存储系统MinIO1什么是minio?1.1MinIO的优点1.2、MinIO的基础概念1.3纠删码EC (Erasure Code 1.4存储形式1.5存储方案2 MinIO环境搭...
-
golang 架构 中间件 分布式锁实现(mysql,以及redis)以及分布式的概念(续)redsync包使用
道生一,一生二,二生三,三生万物这张尽量结合上一章进行使用:上一章这章主要是讲如何通过redis实现分布式锁的redis实现这里我用redis去实现:技术:golang,redis,数据结构这里是有一个大体的实现思路:主要是...
-
深度学习 分布式遥感图像处理综述:Distributed Deep Learning for Remote Sensing Data Interpretation
摘要论文链接:https://ieeexplore.ieee.org/document/9378798本文介绍了一些应用于遥感数据图像领域的分布式深度学习算法,强调云服务架构在遥感图像数据管理、计算、服务提供等方面相比于其他...
-
华为 移动应用开发 『HarmonyOS』万物互联,分布式操作系统
作者简介:一位喜欢写作,计科专业大二菜鸟个人主页:starry陆离首发日期:2022年7月5日星期二上期文章:『首期文章』订阅专栏:『HarmonyOS』 如果文章有帮到你的话记得点赞+收藏支持一下哦『Ha...
-
分布式 大数据 kafka的消息数据积压处理方案详解(两个方向)
(1)直接介绍一下处理方案。1.首先,我们需要判断到底是kafka消费能力不足的问题还是下游数据处理不及时的问题。2.如果是kafka消费能力不足的问题,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费...
-
分布式 RabbitMQ-中死信交换机
在RabbitMQ中,死信交换机(DLX,Dead Letter Exchange)是一种用于处理无法正常消费的消息的机制。当消息在一个队列中变成死信(dead letter)之后,它可以被重新发布到另一个交换机,这个交换机...
-
大数据 分布式 【yarn】 kill 一个spark任务
要关闭一个正在运行的Spark任务,你可以使用以下命令来终止执行:将 替换为你要关闭的Spark应用程序的ID。这个ID通常以 application_ 开头,后面跟着一串数字。请确保你有适当的权限来执行这个命令。如果你没...
-
分布式 spring cloud RabbitMQ延时队列
RabbitMQ延时队列1 . 前提条件首先要具备已经安装**rabbitmq+erlang**,版本可以参考https://www.rabbitmq.com/which-erlang.html#compatibility-...
-
spring boot spring java 分布式 RabbitMQ学习笔记
介绍名词解释Broker:接受和分发消息的应用,例如RabbitMQ ServerVirtual host:出于多租户和安全因素设计的,把AMQP的基本组件划分到一个虚拟的分组中,类似于网络中的namespace概念。当多个...
-
分布式 二、 安装及配置RabbitMQ
2.1. 下载和安装2.1.1. 下载1.下载Erlang的rpm包RabbitMQ是Erlang语言编写,所以Erlang环境必须要有,注:Erlang环境一定要与RabbitMQ版本匹配:2.下载socat的rpm包ra...
-
分布式 rabbitmq笔记-rabbitmq进阶-数据可靠性,rabbitmq高级特性
消息何去何从mandatory和immediate是channel.basicPublish方法的两个参数,都有消息传递过程中不可达目的地时将消息返回给生产者的功能。mandatory参数true:交换器无法根据自身的类型...
-
分布式 2.7日学习打卡----初学RabbitMQ(二)
2.7日学习打卡JMS 由于MQ产品很多,操作方式各有不同,于是JAVA提供了一套规则 ——JMS,用于操作消息中间件。JMS即Java消息服务 (JavaMessage Service)应用程序接口,是一个Java平台中关...
-
大数据 Hadoop的分布式文件系统与数据处理
1.背景介绍Hadoop是一个分布式计算框架,由Google的MapReduce技术启发而成。Hadoop的核心组件有HDFS(Hadoop分布式文件系统 和MapReduce。HDFS负责存储和管理大规模数据,MapRed...
-
dubbo java 分布式 某城商行超融合建设:从方案设计到融合部署
【摘要】本文主要介绍了某城商行基于华为FusionCompute虚拟化+华为FusionStorage分布式存储融合部署的实施方案,其中涵盖了当前现状背景与建设的必要性、FusionStorage存储实施计划、Fusion...
-
远程调用 rpc 分布式 Dubbo
系列文章目录提示:这里可以添加系列文章的所有文章的目录,目录需要自己手动添加 Dubbo_入门提示:写完文章后,目录可以自动生成,如何生成可参考右边的帮助文档文章目录系列文章目录前言一、什么是分布式系统二、什么是RPC三、D...
-
分布式 Kafka入门及可视化界面推荐
官方文档:Kafka 中文文档 - ApacheCN快速开始关闭 kafka1、一定要先关闭 kafka,再关闭zookeeper,否则容易出现数据错乱如果出现数据错错乱,最简单的方法就是清空 data 和 kafka-lo...
-
分布式 RabbitMQ编程模型
在本教程的这一部分中,我们将用 Java 编写两个程序;发送单个消息的生产者和接收消息并将其打印出来的消费者。我们将忽略 Java API 中的一些细节,专注于这个非常简单的事情,以便开始。这是一个“Hello World”...
-
大数据 分布式 数据挖掘 掌握Hadoop流处理:实时数据分析的关键技术
1.背景介绍Hadoop流处理(Hadoop Streaming 是一种将命令行接口(CLI 工具与Hadoop MapReduce框架结合使用的方法,以实现数据处理和分析任务。Hadoop流处理允许用户使用任何编程语言(如...