...
-
SpringBoot+Redis实现分布式WebSocket
-
大数据 数据分析 深入OceanBase内部机制:高性能分布式(实时HTAP)关系数据库概述
码到三十五 :个人主页心中有诗画,指尖舞代码,目光览世界,步履越千山,人间尽值得 !在数据驱动的时代,数据库作为存储和管理数据的核心组件,其性能、稳定性和扩展性都至关重要。OceanBase作为一款高性能的分布式关系数据库,...
-
elasticsearch 微服务 Spring Boot 整合分布式搜索引擎 Elastic Search 实现 自动补全功能
文章目录⛄引言一、分词器⛅拼音分词器⚡自定义分词器二、自动补全查询三、自动补全⌚业务需求⏰实现酒店搜索自动补全四、效果图⛵小结⛄引言本文参考黑马 分布式Elastic searchElasticsearch是一款非常强大的开...
-
ruby 分布式 深入理解RabbitMQ:配置与应用场景详解
深入理解RabbitMQ:配置与应用场景详解RabbitMQ 是一个开源的消息代理软件,它实现了高级消息队列协议(AMQP)。在现代分布式系统中,RabbitMQ 被广泛用于实现系统间的异步通信、负载均衡和任务队列管理。通过...
-
Java微服务分布式事务框架seata的TCC模式
作者主页:青花锁 简介:Java领域优质创作者、Java微服务架构公号作者简历模板、学习资料、面试题库、技术互助文末获取联系方式 往期热门专栏回顾专栏描述Java项目实战介绍Java组件安装、使用;手写框架等A...
-
基于Windows系统的Hadoop伪分布式模式部署-从零开始(我的学习记录)
目录前言一.JDK的下载安装配置1.JDK 下载2.JDK 安装3.JDK 环境变量配置4.验证JDK安装是否成功5.重点?二.Hadoop部署以及工具集winutils1.下载Hadoop解压/下载winutils以及"安...
-
分布式 大数据平台搭建——hadoop集群(基于CentOS-7)的搭建
目录总序一、下载相关软件的压缩包二、配置虚拟机上主节点相关设置1、修改主机用户名2、进行ip地址映射3、配置虚拟机网络设置三、解压并配置java、hadoop环境1、解压jdk、hadoop压缩文件 2、配置jdk、hado...
-
大数据 分布式 HBase单机版安装详细步骤
目录一、安装HBase前置环境二、安装HBase步骤(一 解压(二 修改文件名(三 修改配置文件(四 配置HBase的环境变量(五 启动HBase1.启动hadoop2.启动zookeeper3.启动hbase4.jps出现...
-
大数据 分布式 Leo赠书活动-21期 《一篇讲明白 Hadoop 生态的三大部件》
✅作者简介:大家好,我是Leo,热爱Java后端开发者,一个想要与大家共同进步的男人 个人主页:Leo的博客 当前专栏: 赠书活动专栏 ✨特色专栏: MySQL学习 省本文内容:Leo赠书活动-21期 《一篇讲明白...
-
数据库 系统架构 mysql spring cloud Seata事务管理---分布式事务详解
1 什么是事务 事务,一般指数据库事务,就是将多条SQL语句一起执行的功能,就称为一个数据库事务。数据库事务可以确保该事务范围内的所有操作都可以全部成功或者全部失败。 数据库事务具有4个属性,分别是:...
-
大数据 分布式 带你从Spark官网啃透Spark Structured Streaming
By 远方时光原创,可转载,open合作微信公众号:大数据左右手本文是基于spark官网结构化流解读spark官网对结构化流解释我浓缩了一些关键信息:1.结构化流是基于SparkSQL引擎构建的可扩展且容错的流处理引擎。(也...
-
功能测试 单元测试 测试用例 测试工具 Jmeter分布式压力测试
1、场景在做性能测试时,单台机器进行压测可能达不到预期结果。主要原因是单台机器压到一定程度会出现瓶颈。也有可能单机网卡跟不上造成结果偏差较大。 例如4C8G的window server机器,使用UI方式,最高压测在1800并...
-
分布式 kafka tool数据乱码
原因:kafkatool默认是用Byte Array,但是kafka中的数据一般是String,所以需要把kafkatool中的数据类型改为String即可 修改第一处:Tools-----˃Setting-----Topi...
-
【信息融合与状态估计】基于Kalman滤波和现代时间序列分析方法,利用集中式融合估计、分布式融合估计(按矩阵加权、按对角阵加权、按标量加权)、 协方差交叉融合等方法实现对状态的融合估计(Matlab)
欢迎来到本博客❤️❤️博主优势:博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。⛳️座右铭:行百里者,半于九十。本文目录如下:目录1 概述2 运行结果2.1 改进的CI融合估值器2.2 ...
-
.NET集成IdGenerator生成分布式全局唯一ID
前言生成分布式唯一ID的方式有很多种如常见的有UUID、Snowflake(雪花算法)、数据库自增ID、Redis等等,今天我们来讲讲.NET集成IdGenerator生成分布式全局唯一ID。分布式ID是什么?分布式ID是一...
-
分布式 Kafka(十)安全
目录Kafka安全1 安全协议1.1 PALINTEXT1.2 SSL1.2.1 生成服务端证书1.2.2 生成客户端证书1.2.3 修改配置listenersadvertised.listenerslistener.sec...
-
Clickhouse 分布式表&本地表详解
Clickhouse的表分为两种分布式表一个逻辑上的表, 可以理解为数据库中的视图, 一般查询都查询分布式表. 分布式表引擎会将我们的查询请求路由本地表进行查询, 然后进行汇总最终返回给用户.本地表实际存储数据的表概述、集群...
-
国产数据库|GBase 8c 分布式部署那点事儿
作者 | JiekeXu来源 |公众号 JiekeXu DBA之路(ID: JiekeXu_IT)如需转载请联系授权 | (个人微信 ID:JiekeXu_DBA 大家好,我是 JiekeXu,很高兴又和大家见面了,今天和大...
-
数据库 分布式 redis FreeSql使用
目的:1.方库分表 2.主从分离3.分布式事务过程:官网:指南 | FreeSql 官方文档1.Startup.cs 添加配置(本地数据库MySql).UseMonitorCommand(cmd =˃ Console.Wri...
-
大数据 分布式 Spark---基于Yarn模式提交任务
Yarn模式两种提交任务方式一、yarn-client提交任务方式1、提交命令或者或者2、执行原理图解1)、执行流程1、客户端提交一个Application,在客户端启动一个Driver进程2、应用程序启动会向RS(Reso...
-
大数据 spark分布式计算框架
MapReduce是计算逻辑清晰的,只有两个步骤,任务是JVM进程级别,每执行到什么步骤 去申请具体的资源。而spark根本不知道具体有几个stage,逻辑未知,每个人的job stage等根本不知道。它是默认倾向于抢占资源...
-
大数据 分布式 Hadoop常见问题及解决办法
错误原因:FileInputFormat input splits: (详见 《the definitive guide》P190 dfs.block.size: default = 64M, 系统中设置为128M。如果设置...
-
大数据 分布式 Spark——Spark读写Greenplum/Greenplum-Spark Connector高速写Greenplum
文章目录问题背景解决方式代码实现Spark写GreenplumSpark读Greenplum参考问题背景通过数据平台上的DataX把Hive表数据同步至Greenplum(因为DataX原生不支持Greenplum Writ...
-
数据库 大数据 分布式 HBase与HadoopYARN集成
1.背景介绍1. 背景介绍HBase是一个分布式、可扩展、高性能的列式存储系统,基于Google的Bigtable设计。HBase提供了自动分区、自动同步和故障转移等特性,使其成为一个可靠的数据存储解决方案。Hadoop Y...
-
中间件 分布式 rabbitmq
1、介绍一下rabbitmqRabbitMQ是Erlang语言开发的基于AMQP的一款消息中间件,核心思想是生产者不会将消息直接发送给队列,消息在发送给客户端时先发送给交换机,然后由交换机转发给对应的队列。对路由(Routi...
-
分布式 RabbitMQ安装教程(手把手教你安装MQ)
准备:我把安装包链接放在这里,版本可能不是最新的,若想要最新版的请根据我下方文章中的链接去官网下载最新版本;erlang和mq安装包:阿里云盘分享提取密码:ug14步骤1:下载并安装Erlang在安装RabbitMQ之前,需...
-
大数据 分布式 拜托!看了这一篇谁还不会Spark!!!
一、Hadoop基本认知Hadoop是一个分布式系统基础技术框架,由Apache基金会所开发。利用Hadoop,软件开发用户可以在不了解分布式底层细节的情况下,开发分布式程序,从而达到充分利用集群的威力高速运算和存储的目的。...
-
大数据 分布式 Spark---基于Standalone模式提交任务
Standalone模式两种提交任务方式一、Standalone-client提交任务方式1、提交命令或者2、执行原理图解1)、执行流程1、client模式提交任务后,会在客户端启动Driver进程。2、Driver会向Ma...
-
linux 分布式 rabbitmq菜鸟教程,搭建rabbitmq
一、前言RabbitMQ是一个开源的遵循 AMQP协议实现的基于 Erlang语言编写,即需要先安装部署Erlang环境再安装RabbitMQ环境。需加注意的是,读者若不想跟着我的版本号下载安装,可根据两者版本号的对应表(下...
-
数据库 大数据 分布式 HBase实战案例:游戏数据处理
1.背景介绍在本篇文章中,我们将深入探讨HBase在游戏数据处理领域的实战应用,揭示HBase的核心概念、算法原理、最佳实践以及实际应用场景。同时,我们还将分享一些有用的工具和资源推荐,以及未来发展趋势与挑战。1. 背景介绍...
-
分布式 Kafka与ApacheSpark集成
1.背景介绍1. 背景介绍Apache Kafka 和 Apache Spark 是两个非常受欢迎的大数据处理框架。Kafka 是一个分布式流处理平台,用于构建实时数据流管道和流处理应用程序。Spark 是一个快速、通用的大...
-
【分布式websocket】RocketMQ发送消息保证消息最终一致性需要做哪些处理?【第15期】
前言发送消息的逻辑在发给mq后消息链路就直接结束了。那么消息在mq收到后我们该如何保证后面消息一定能存储呢?执行业务逻辑出错了怎么办呢?当然这期只是IM特定场景下的一致性哈,不是分布式事务哈,有点小区别?使用MQ做分布式事务...
-
python feapder 与 scrapy 分布式爬虫速度对比
测试用例为使用feapder的分布式爬虫与scrapy-redis爬虫, 请求1万次百度,均为32并发1进程的情况下,计算耗时运行feapder爬虫耗时为: 4分24秒运行scrapy-redis运行结果:耗时为:262秒...
-
大数据 分布式 关于Spark基本问题及结构[月薪2w的人都在看]
目录1.Spark是什么?2.Spark与Hadoop Spark与MapReduce对比Spark与Hadoop 优点 3. 什么是结构化数据? 什么是非结构化数据?什么是...
-
数据库 基于 HBase & Phoenix 构建实时数仓(2)—— HBase 完全分布式安装
目录一、开启 HDFS 机柜感知1. 增加 core-site.xml 配置项2. 创建机柜感知脚本3. 创建机柜配置信息文件4. 分发相关文件到其它节点5. 重启 HDFS 使机柜感知生效二、主机规划三、安装配置 HBas...
-
spring cloud 微服务 分布式 java-rabbitmq SpringCloud-搭建RabbitMQ消息队列
本文介绍了在 Windows 环境下安装 RabbitMQ 及其依赖的 Erlang 语言的过程。通过提供下载链接和详细的安装步骤,使读者能够快速搭建 RabbitMQ 开发环境。同时,展示了常用的命令和验证方法,确保安装正...
-
分布式 Dubbo接口的泛化调用
一、什么是dubboDubbo是一款高性能、轻量级的开源Java RPC(Remote Procedure Call)框架。在日常开发中大量的应用场景,主要用于不同服务之间的调用。二、什么是RPC服务 A、B 两个服务分别部...
-
spring cloud 数据库 SpringCloud AliBaBa(五)-Nacos集成seata实现分布式事务
事务ACID原则原子性:事务中的所有操作,要么全部成功,要么全部失败一致性:要保证数据库内部完整性约束、声明性约束隔离性:对同一资源操作的事务不能同时发生持久性:对数据库做的一切修改将永久保存,不管是否出现故障一、理论基础1...
-
ruby 分布式 第十五章 RabbitMQ 延迟队列
文章目录前言1、RabbitMQ延迟队列1.1、方式1:RabbitMQ通过死信机制来实现延迟队列的功能1.2、方式二:安装延迟队列插件1.2.1、安装延迟队列插件2、消息确认机制2.1、生产确认2.2、消费确认前言实际业务...
-
分布式 rabbitmq的多种集群模式;镜像集群模式自定义queue同步策略
概述平時为了保证mq的高可用,一般都会部署集群模式,不过对于rabbitmq有多种集群模式,没有弄对的话容易埋坑。**单机模式:**风险大,生产一般没人使用。**普通集群模式:**虽然是集群,但是没有高可用。**镜像集群模式...
-
分布式 RabbitMQ安全防护,加固策略
RabbitMq简介中间件简介 消息队列中间件是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题实现高性能,高可用,可伸缩和最终一致性[架构] 使用较多的消息队列有 ActiveMQ(安全),RabbitM...
-
分布式 RabbitMQ 基本操作
种类基本消息队列(BasicQueue 工作消息队列(WorkQueue 发布订阅(Publish Subscribe 3.1 广播(Fanout Exchange 3.2 路由(Direct Exchage 3.3...
-
性能优化 测试工具 jmeter metersphere 分布式 后端 【压测指南|压力测试核心性能指标及行业标准】
文章目录压力测试核心性能指标及行业标准指标1:响应时间指标2:吞吐量(TPS 指标3:失败率总结:压力测试核心性能指标及行业标准在做压力测试时,新手测试人员常常在看报告时倍感压力:这么多性能测试指标分别是什么意思,应该达到什...
-
spring cloud SpringCloud使用SkyWalking实现分布式链路追踪1
文章目录一、MicrometerTracingBrave(Sleuth 链路追踪1、MicrometerTracingBrave和Zipkin的概论2、Docker搭建Zipkin服务3、MicrometerTracingB...
-
分布式 消息中间件:RabbitMQ
(1 理论基础Erlang语言最初用于交换机领域的架构模式,这样使得RabbitMQ在Broker之间进行数据交互的性能非常优秀(Erlang有着和原生Socket一样的延迟 。RabbitMQ是一个开源的消息代理和队列服务...
-
学习 分布式搜索引擎
分布式搜索引擎_学习笔记_2在昨天的学习中,我们已经导入了大量数据到elasticsearch中,实现了elasticsearch的数据存储功能。但elasticsearch最擅长的还是搜索和数据分析。所以今天,我们研究下e...
-
mybatis Java分布式事务(七)
文章目录🔥Seata提供XA模式实现分布式事务_业务说明🔥Seata提供XA模式实现分布式事务_下载启动Seata服务🔥Seata提供XA模式实现分布式事务_搭建聚合父工程构建🔥Seata提供XA模式实现分布式事务_转账功能...
-
软件测试 软件测试工程师 接口测试 性能测试 Jmeter分布式压力测试
目录1、场景2、原理3、注意事项4、slave配置5、master配置6、脚本执行1、场景在做性能测试时,单台机器进行压测可能达不到预期结果。主要原因是单台机器压到一定程度会出现瓶颈。也有可能单机网卡跟不上造成结果偏差较大。...
-
tidb 数据库 TiDB 华锐技术何志东:证券核心交易系统分布式改造将迎来规模化落地阶段
近年来,数字化转型成为证券业发展的下一战略高地,根据 2021 年证券业协会专项调查结果显示,71% 的券商将数字化转型列为公司战略任务。在落地数字化转型战略过程中,证券业核心交易系统面临着不少挑战。构建新一代分布式核心交易...
-
微服务 service_mesh 探索服务网格与 OpenTelemetry 的协同之分布式跟踪
背景分布式跟踪分布式跟踪是监控和诊断微服务请求流程的关键技术,也是可观测性的关键组成部分,提供了对微服务架构中复杂交互和性能问题的深入洞察。它通过提供服务间请求链路的清晰视图来管理复杂性,并帮助识别性能瓶颈、优化资源分配、快...