柚子快报激活码778899分享:数据库 9 存储性能优化

http://yzkb.51969.com/

B+树是一种专门针对磁盘存储而优化的N叉排序树,以树节点为单位存储在磁盘中,

从根开始查找所需数据所在的节点编号和磁盘位置,将其加载到内存中然后继续查找, 直到找到所需的数据。

目前数据库多采用两级索引的B+树,树的层次最多三层。因此可能需要5次磁盘访

问才能更新一条记录(三次磁盘访问获得数据索引及行ID,然后再进行一次数据文件读 操作及一次数据文件写操作)。

但是由于每次磁盘访问都是随机的,而传统机械硬盘在数据随机访问时性能较差,

每次数据访问都需要多次访问磁盘影响数据访问性能。

目前许多NoSQL产品采用LSM树作为主要数据结构,如图4.21所示。

LSM树可以看作是一个N阶合并树。数据写操作(包括插入、修改、删除)都在内 存中进行,并且都会创建一个新记录(修改会记录新的数据值,而删除会记录一个删除 标志),这些数据在内存中仍然还是一棵排序树,当数据量超过设定的内存阈值后,会将 这棵排序树和磁盘上最新的排序树合并。当这棵排序树的数据量也超过设定阈值后,和 磁盘上下一级的排序树合并。合并过程中,会用最新更新的数据覆盖旧的数据(或者记 录为不同版本)。

在需要进行读操作时,总是从内存中的排序树开始搜索,如果没有找到,就从磁盘 上的排序树顺序查找。

在LSM树上进行一次数据更新不需要磁盘访问,在内存即可完成,速度远快于B+ 树。当数据访问以写操作为主,而读操作则集中在最近写入的数据上时,使用LSM树可

以极大程度地减少磁盘的访问次数,加快访问速度。

作为存储结构,B+树不是关系数据库所独有的,NoSQL数据库也可以使用B+树。 同理,关系数据库也可以使用LSM,而且随着SSD硬盘的日趋成熟及大容量持久存储的 内存技术的出现,相信B+树这一 “古老”的存储结构会再次焕发青春。

3 RAID vs. HDFS

Raid (廉价磁盘冗余阵列)技术主要是为了改善磁盘的访问延迟,增强磁盘的可用 性和容错能力。目前服务器级别的计算机都支持插入多块磁盘(8块或者更多),通过使 用RAID技术,实现数据在多块磁盘上的并发读写和数据备份。

假设服务器有N块磁盘。

RAID0

数据在从内存缓冲区写入磁盘时,根据磁盘数量将数据分成N份,这些数据同时并

发写入N块磁盘,使得数据整体写入速度是一块磁盘的N倍。读取时也一样,因此RAID0 具有极快的数据读写速度,但是RAID0不做数据备份,N块磁盘中只要有一块损坏,数 据完整性就被破坏,所有磁盘的数据都会损坏。

RAID1

数据在写入磁盘时,将一份数据同时写入两块磁盘,这样任何一块磁盘损坏都不会

导致数据丢失,插入一块新磁盘就可以通过复制数据的方式自动修复,具有极高的可靠性。

RAID10

结合RAID0和RAID1两种方案,将所有磁盘平均分成两份,

入,相当于RAID1,但是在每一份磁盘里面的M2块磁盘上,利用RAIDO技术并发读写, 既提高可靠性又改善性能,不过RAID10的磁盘利用率较低,有一半的磁盘用来写备份数据。

RAID3

一般情况下,一台服务器上不会岀现同时损坏两块磁盘的情况,在只损坏一块磁盘 的情况下,如果能利用其他磁盘的数据恢复损坏磁盘的数据,这样在保证可靠性和性能 的同时,磁盘利用率也得到大幅提升。

在数据写入磁盘的时候,将数据分成N-1份,并发写入N-1块磁盘,并在第N块磁 盘记录校验数据,任何一块磁盘损坏(包括校验数据磁盘),都可以利用其他N-l块磁盘的数据修复。

但是在数据修改较多的场景中,修改任何磁盘数据都会导致第N快磁盘重写校验数据,频繁写入的后果是第N块磁盘比其他磁盘容易损坏,需要频繁更换,所以RAID3很少在实践中使用。

RAID5

相比RAID3,方案RAID5被更多地使用。

RAID5和RAID3很相似,但是校验数据不是写入第N块磁盘,而是螺旋式地写入所 有磁盘中。这样校验数据的修改也被平均到所有磁盘上,避免RAID3频繁写坏一块磁盘的情况。

RAID6

如果数据需要很高的可靠性,在岀现同时损坏两块磁盘的情况下(或者运维管理水 平比较落后,坏了一块磁盘但是迟迟没有更换,导致又坏了一块磁盘),仍然需要修复数 据,这时候可以使用RAID6。

RAID6和RAID5类似,但是数据只写入N-2块磁盘,并螺旋式地在两块磁盘中写入

校验信息(使用不同算法生成)。

在相同磁盘数目(N)的情况下,各种RAID技术的比较如表4.3所示。

RAID技术可以通过硬件实现,比如专用的RAID卡或者主板直接支持,也可以通过 软件实现。RAID技术在传统关系数据库及文件系统中应用比较广泛,但是在大型网站比 较喜欢使用的NoSQL,以及分布式文件系统中,RAID技术却遭到冷落。

例如在HDFS ( Hadoop分布式文件系统)中,系统在整个存储集群的多台服务器上 进行数据并发读写和备份,可以看作在服务器集群规模上实现了类似RAID的功能,因此

HDFS以块(Block )为单位管理文件内容,一个文件被分割成若干个Block,当应用 程序写文件时,每写完一个Block, HDFS就将其自动复制到另外两台机器上,保证每个 Block有三个副本,即使有两台服务器宕机,数据依然可以访问,相当于实现了 RAID1 的数据复制功能。

当对文件进行处理计算时,通过MapReduce并发计算任务框架,可以启动多个计算 子任务(MapReduce Task ),同时读取文件的多个Block,并发处理,相当于实现了 RAID0 的并发访问功能。

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数Java工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年Java开发全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。

既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上Java开发知识点,真正体系化!

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且会持续更新!

如果你觉得这些内容对你有帮助,可以扫码获取!!(备注Java获取)

总结

一般像这样的大企业都有好几轮面试,所以自己一定要花点时间去收集整理一下公司的背景,公司的企业文化,俗话说「知己知彼百战不殆」,不要盲目的去面试,还有很多人关心怎么去跟HR谈薪资。

这边给大家一个建议,如果你的理想薪资是30K,你完全可以跟HR谈33~35K,而不是一下子就把自己的底牌暴露了出来,不过肯定不能说的这么直接,比如原来你的公司是25K,你可以跟HR讲原来的薪资是多少,你们这边能给到我的是多少?你说我这边希望可以有一个20%涨薪。

最后再说几句关于招聘平台的,总之,简历投递给公司之前,请确认下这家公司到底咋样,先去百度了解下,别被坑了,每个平台都有一些居心不良的广告党等着你上钩,千万别上当!!!

Java架构学习资料,学习技术内容包含有:Spring,Dubbo,MyBatis, RPC, 源码分析,高并发、高性能、分布式,性能优化,微服务 高级架构开发等等。

还有Java核心知识点+全套架构师学习资料和视频+一线大厂面试宝典+面试简历模板可以领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书。

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取! 领取+阿里美团网易腾讯小米爱奇艺快手哔哩哔哩面试题+Spring源码合集+Java架构实战电子书。 [外链图片转存中…(img-6iRg3l6I-1712090652195)]

《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》,点击传送门即可获取!

柚子快报激活码778899分享:数据库 9 存储性能优化

http://yzkb.51969.com/

推荐文章

评论可见,请评论后查看内容,谢谢!!!
 您阅读本篇文章共花了: