当前位置: 首页>行业 >

MySQL架构特征笔记-环球视讯

来源: 腾讯云 | 时间: 2023-03-27 10:15:50 |

第一层:连接线程处理

客户端——>连接线程处理(连接处理,授权认证,安全)所包含的服务并不是mysql所独有的技术,他们都是服务于C/S程序或者这些程序所需要的(连接处理,授权认证,安全性等等)

第二层:包含大部分mysql核心服务

查询缓存——>解析器——>优化器——>执行查询查询缓存,解析,分析,优化,缓存,所有内置函数(日期,时间,数学和加密函数)同时,所有的存储引擎提供的功能都集中在这一层(存储过程,触发器,视图)流程:在解析查询之前,要先查询缓存,缓存只能保存查询的信息和结果数据,如果请求一个查询在缓存中存在,就不需要解析,优化和执行查询了,直接返回缓存中所存放的这个查询的结果

第三层:包含存储引擎

存储引擎负责mysql中数据的存储和提取(和Linux下的文件系统类似),每种存储引擎都有优势及劣势中间的服务层通过API和存储引擎进行通信,这些API接口屏蔽了不同存储引擎之间的差异,对于查询层尽可能的透明化。

存储引擎API包含了十几个底层函数,如执行 “ 开始一个事务 ” ,或取出有特定主键的行,但存储引擎一般不会去解析SQL,(InnoDB会解析外键定义,因为其本身没有实现该功能),不同存储引擎之间也不会相互通信,而只是简单的响应上层的服务器请求。


(资料图片)

Mysql逻辑体系架构—详细介绍(分为八个步骤)

1.Connectors

指的是不同预言中与SQL的交互

Nactive C API,JDBC,ODBC,.NET,PHP,Python,Perl,Ruby,VB

2.Enterprise Management Services & Utilities

系统管理和控制工具

Backup & Recovery,Security,Replication,Cluster,Partitioning,Instance Manager,INPORMATICN_SCHEMA,Administrator,Workbench,Query Browser,Migration Toolkit 

3.Connection Pool(连接池)

管理缓冲用户连接,线程处理等需要缓存的需求。负责监听对MySQL Server的各种请求,接受连接请求,转发所有连接请求到线程管理模块。每一个连接上MySQL Server的客户端请求都会被分配(创建)一个连接线程为其单独服务,并对连接线程进行了缓存,因此不需要为每个client连接单独创建和销毁,而连接线程的主要工作就是负责MySQL Server与客户端的通信,接收客户端的命令请求,传递Server端的结果信息,线程管理模块则负责管理维护这些连接线程,包括线程的创建,线程的cache等等

Authentication -Thread Reuse - Connection Limits - Check Memory -Caches

4.SQL Interface(SQL接口)

接受用户的SQL命令,并且返回用户需要查询返回的结果,比如select from就是调用SQL Interface

DML,DDL,Stored Procedures,Views,Triggers,etc

5.Parser(解析器)

SQL命令传递到解析器的时候会被解析器验证和解析,解析器是由Lex和YACC实现的,是一个很长的脚本,在MySQL中我们习惯将所有Client端发给Server端的命令都称为query,在MySQL Server里面,连接线程接收到客户端的一个Query后,会直接将query传递给专门负责将各种Query进行分类然后转发给各个对应的处理模块

主要功能:

a.将SQL语句进行语义和语法分析,分解成数据结构,然后按照+同的操作类型进行分类,做出针对性的转发到后续步骤,以后SQL语句的传递和处理就是基于这个结构的b.如果在分解构成中遇到错误,那么就说明这个sql语句是不合理的
Query Translation,Object Privilege

6.Optimizer(查询优化器)

SQL语句在查询之前会使用查询优化器对查询进行优化,就是优化客户端请求query,根据客户端请求的query语句和数据库中的一些统计信息,在一系列算法基础上进行分析,得出一个最优策略,告诉后面的程序如何取得这个query语句的结果,使用的是 “选取-投影-联接” 策略进行查询;比如:select uid,name from user where gender=1;这个查询语句先根据where后面的语句进行选取,而不是先将表全部查询出来以后再进行gender过滤,然后根据uid和name进行属性投影,而不是将所有的属性全部取出来以后再进行过滤,最后将这两个查询条件联接起来生成最终的查询结果

Access Paths,Statistics

7.Cache 和 Buffer(查询缓存)

主要功能是将客户端提交给 Mysql 的 Select的类query请求的返回的结果集cache到内存中,与该query的一个hash值做一个对应,该query所取数据的基表发生任何数据的变化之后,MySQL会自动使该query的Cache失效,在读写比例非常高的的应用系统中,Query Cache对性能的提高是非常显著的,当然它对内存的消耗也是非常大的。如果查询缓存中有有效的命中查询结果,查询语句就可以直接去查询缓存中取数据,这个缓存机制是由一系列小缓存组成的,比如表缓存,记录缓存,Key缓存,权限缓存等等

Global and Engine Specific Caches & Buffers

8.pluggable storage Engines(插件式存储引擎)

存储引擎接口:MySQL区别于其他数据库的最重要的特点就是其插件式的表存储引擎。MySQL插件式的存储引擎架构提供了一系列标准的管理和服务支持,这些标准与存储引擎本身无关,可能是每个数据库系统都必须的,比如SQL分析器和优化器等,而存储引擎是底层物理结构的实现。每个存储引擎开发者都可以按照自己的意愿进行开发。

9.file system

文件系统,数据,日志(redo,undo)索引,错误日志,查询记录,慢查询等

注意:存储引擎是基于表的,而不是数据库

数据库的工作流程

建立TCP连接——>验证用户——>创建线程解析SQL——>生成执行计划——>开表——>搜寻buffer看所需数据页是否被缓存——>从磁盘扫描数据——>获取数据并写入buffer pool——>返回数据给客户端——>关闭表——>关闭线程——>关闭连接

最上层:客户端连接
1.连接处理:客户端同数据库服务层建立TCP连接,连接管理模块会建立连接,并请求一个连接线程,如果连接池中有空闲的连接线程,则分配给这个连接,如果没有,在没有超过最大线程连接数的情况下,创建新的连接线程负责这个客户端2.授权认证:在query操作之前,还需要调用用户模块进行授权检查,来验证用户是否有权限,通过后,方才提供服务,连接线程开始接受并处理来自客户端的SQL语句
第二层:核心服务
1.连接线程接收到SQL语句之后,将语句交给SQL语句解析模块进行语法和语义分析。2.如果是一个查询语句,则可以先看查询缓存中是否有结果,如果有结果则直接返回给客户端。3.如果查询缓存中没有结果,则需要查询数据库引擎层,将SQL语句发给优化器,进行查询的优化,如果是表变更,则分类交给insert,update,delete,create,alert处理模块进行处理 
第三层:数据库引擎层
1.打开表,如果需要的话获取相应的锁。2.先查询缓存页中有没有相应的数据,如果有则可以直接返回,如果没有则从磁盘上去读取3.当在磁盘中找到相应的数据之后,则会加载到缓存中来,从而使得后面的查询更加的高效,由于缓存有限,多采用变通的LRU表来管理缓存页,保证缓存的都是经常访问的数据。4.最后,获取数据后返回给客户端,关闭连接,释放连接线程。

FAQ分析

1.什么是插件式存储引擎

存储引擎就是将数据对磁盘进行读写操作,不同的存储引擎,读写操作方式也不同,事务,锁等都不一样因为我们有不同的业务需求,所以会有很多的存储引擎,在一个数据库中,因为存储引擎是基于表的,所以不同的表可以有不同的存储引擎,允许将存储引擎加载到正在运行的MySQL服务器中,这就是插件式存储引擎

2.什么是LRU缓存

一种缓存淘汰机制策略算法,因为缓存的内存总是有限的,所以缓存满了就要删除一些内容,给新内容腾位置,而在LRU机制下,淘汰的数据被称为无用数据,LRU的全称是Least Recently Used,也就是我们认为最近使用过的数据都是有用的,很久都没用过的数据应该就是无用的,内存满了就优先删除那些最近很久没用过的数据

在JVM中Ehcache的缓存策略包含

LRU - least recently used(最近最少使用)LFU - least frequently used(最不经常使用)FIFO - first in first out, the oldest element by creation time(清除最早缓存的数据,不关心是否经常使用)

关键词:

 

热文推荐

MySQL架构特征笔记-环球视讯

存储引擎API包含了十几个底层函数,如执行“开始一个事务”,或取出有特定主键的行,但存储引擎 一般不会去解析SQL, (InnoDB会解析外键定义

2023-03-27

当前消息!泓博医药:3月23日-4月22日为公司年报发布前窗口期,不会安排在线调研活动

同花顺金融研究中心3月27日讯,有投资者向泓博医药提问,公司最近是否有在线调研会?大家很关心公司发展情况!  公司回答表示,您好!谢谢大

2023-03-27

农村自建房屋拆迁有补偿吗?补偿标准是如何的?

有。只要是农民确实需要住房只是因为某种原因未及时获批,这种情况下会给予适当照顾,一般也会给予适当补偿并进行安置的。而村民依法建设后又

2023-03-27

嘉兴房价从1.8万跌至1.7万,嘉兴楼市透心凉,嘉兴楼市分析第8篇|世界微速讯

嘉兴楼市今年小阳春也没戏了。今年别的城市还有小阳春,嘉兴楼市就只剩下房东降价卖房离场了。对比嘉兴1月到3月的房价数据,可以很明显的看到

2023-03-27

越南人:我工资一个月600万越南盾,是不是在中国就是土豪了? 世界信息

越南人:我工资一个月600万越南盾,是不是在中国就是土豪了?,回路,工资,越南盾,越南人

2023-03-26

全球热讯:太保寿险新业务价值去年降三成 但下半年已止跌返升

大型寿险公司的转型已开始陆续展露出部分成效,太保寿险亦是如此。该公司去年开始落地的“长航行动”深化转型项目成果在年报中已有所显现。从

2023-03-26

话剧《屈原》北京连演两场_世界动态

本报讯(记者冯汉斌通讯员吴梦秋)3月22日至23日,作为文化和旅游部“新时代舞台艺术优秀剧目”展演作品,新编无场次历史

2023-03-26

seatools长检测伤硬盘吗

seatools长检测不伤硬盘。SETOOLS是希捷官方正式检测软件,任何一项检测失败都可以送修,可以直接去经销商处更换,但一般只给换良品(返修品)

2023-03-26

磁悬浮列车 每日快看

1、磁悬浮列车是一种靠磁悬浮力来推动的列车,它通过电磁力实现列车与轨道之间的无接触的悬浮和导向,再利用直线电机产生的电磁

2023-03-26

全球百事通!身边的榜样丨松原优秀志愿者——史有生

身边的榜样丨松原优秀志愿者——史有生

2023-03-26

抖音带货数据在哪里看?带货技巧是什么?

现在抖音带货达人非常多,大部分都是可以赚到钱的,为了让大家更好的在抖音上带货,抖音平台推出了抖音带货数据排行榜,那么抖音带货数据在哪

2023-03-26

歪脑袋木头桩的故事

1、《歪脑袋木头桩》主要讲述了一个木头桩的故事。2、一个歪着脑袋的木头桩,因为它很高,所以就觉得自己比谁都聪明,变得高傲自大起来,其实

2023-03-26

模拟人生3中文补丁怎么使用_模拟人生3中文补丁 每日热点

1、下载完把:Mods、Resource cfg直接放到模拟人生3安装的根目录里这个补丁要先注册表转换繁体。2、才能的变去看看注册表:[HKEY_LOCAL_M

2023-03-26

封神榜陈浩民版国语全集迅雷下载资源_封神榜陈浩民版国语全集迅雷下载_天天观察

1、这个真没有,哈哈,你自己找他本人要去。2、他5号会去南宁参加东方的晚会。本文就为大家分享到这里,希望小伙伴们会喜欢。

2023-03-26

上海爷叔愁到失眠!家里的现金积了十几个蛇皮袋!根本搬不出去,多家银行婉拒...

近日,市民成先生反映:自己曾经营一家小卖部,收到的钱大多是1元和5角的硬币,十几年间存下不少。最近,他打算将500多斤的硬币拿去银行,请他

2023-03-25

口袋妖怪叶绿版攻略

1、主角离开村子进入草丛,遇到博士。博士给予妖怪并发生战斗。胜利后来到村庄,找到5个元素球。闯荡阴暗森林。得到跑鞋。2、来到山脚下,得到钓

2023-03-25

赣州新建一处安置房!总投资约1.95亿

赣州新建一处安置房!总投资约1 95亿,招标,安置房,赣州站

2023-03-25

38妇女节经典祝福老师_38妇女节经典祝福 世界热推荐

1、妇女节要到了。祝身体健康,工资上涨,工作顺利,假期长。心情好,没有烦恼,甜蜜的爱一个没有忧愁的女孩;Lucky,笑,你老公最听话。祝你

2023-03-25

下周20℃+回归!春光明媚,一起去赏花~(附河北赏花图)-观察

明晨降温3~6℃下周20℃+回归昨天到今天早晨,我省部分地区迎来一波降水。受冷暖空气影响,今天下午到夜间,衡水南部、邢台、邯郸还将有零星小

2023-03-25

油水分离器厂家有哪些 环球报道

油水分离器厂家有:德国TECE、德国科赛尔、意大利泽尼特、德国亚科、德国BENE。区分是不是真正的进口品牌很简单,看他们工厂的营业执照,贴牌

2023-03-25

资讯

胡松辉:澳门特区正在努力争取承办CBA赛事

昨晚,第六届粤澳杯第二回合的比赛在恩平体育中心落下帷幕,广东队以89∶77赢下比赛。两回合比赛,广东队以177∶160的优势获得本届比赛的冠

2022-07-08     
北京推出14条秋游文化线路

金秋时节,北京市文化和旅游局以赏银杏品文化为主题,推出14条“叶落的季节——漫步北京赏银杏品文化主题线路”,邀市民和游客以步行、骑行

2021-10-27     
基因编辑发力 培育高质量人源化供体猪

此次人体试验,仅仅验证了基因编辑猪克服异种器官移植的超急性排斥反应,还需解决延迟性排斥反应、消耗性血栓等问题。但通过这次试验,能更

2021-10-27     
中国经济高质量发展步伐稳健 长期向好基本面未变

在全球疫情走势和经济走势趋于复杂的背景下,中国经济巨轮将驶向何方,举世关注。2020年10月26日至29日,党的十九届五中全会在京举行,明确

2021-10-27     
南美解放者杯决赛允许近4.5万观众入场

南美洲足联主席多明格斯25日与今年解放者杯决赛对阵的两支俱乐部负责人会晤,宣布决赛现场观众人数增加到球场容量的75%,即近4 5万人。今年

2021-10-27     
22年从警生涯 面对荣誉他说不要给我报功

9月24日,时任安徽省安庆市公安局迎江分局刑警大队大要案中队中队长周磊因在工作中激烈搏斗引发心源性猝死,倒在了工作岗位上,经医院抢救

2021-10-27