新闻资讯  快讯  焦点  财经  政策  社会
互 联 网   电商  金融  数据  计算  技巧
生活百科  科技  职场  健康  法律  汽车
手机百科  知识  软件  修理  测评  微信
软件技术  应用  系统  图像  视频  经验
硬件技术  知识  技术  测评  选购  维修
网络技术  硬件  软件  设置  安全  技术
程序开发  语言  移动  数据  开源  百科
安全防护  资讯  黑客  木马  病毒  移动
站长技术  搜索  SEO  推广  媒体  移动
财经百科  股票  知识  理财  财务  金融
教育考试  育儿  小学  高考  考研  留学
您当前的位置:首页 > IT百科 > 数据库 > MYSQL

MySQL语句是怎么实现的?需要进行合理的优化分析

时间:2019-06-11 10:10:17  来源:  作者:

想要深入的了解MySQL,首先要了解MySQL语句是怎么实现的,了解了MySQL里语句的执行过程可以更加快速的分析问题的原因,或者进行合理的优化。

MySQL语句是怎么实现的?需要进行合理的优化分析

 

MySQL的架构

MySQL的架构图如下所示,主要由以下几个部分组成:连接器,缓存,分析器,优化器,执行器和存储引擎。

MySQL语句是怎么实现的?需要进行合理的优化分析

 

MySQL可以分为server层和存储引擎层,server层包括连接器、分析器、优化器和执行器,主要负责SQL语法的解析,内置函数的实现,触发器,视图等。存储引擎层负责数据的存储和提取,存储引擎是插件式的,MySQL支持的存储引擎就有InnoDB、MyISAM、Memory等。目前,InnoDB是mysql默认的存储引擎。

连接器

连接器负责与客户端建立网络连接、校验用户名密码、校验用户权限、维持和管理连接等。

网络连接建立后,首先验证用户名和密码,用户名和密码验证通过以后连接器会到权限表里查询该用户的权限。之后,这个连接里的权限判断逻辑,都将依赖于此时读到的权限。这就意味着,一个用户成功连接后,再去修改该用户的权限,也不会影响到已经建立好的连接,只有重新建立连接权限才会生效。

MySQL的网络连接采用的是多线程模型,维护一个线程池,每当有一个新的连接请求时,就从空闲的线程池中选择一个线程进行处理。可以使用 show processlist 命令看到当前所建立的所有连接。

+------------+--------------+--------------------+------------------+---------+-------+-------+------------------+
| Id | User | Host | db | Command | Time | State | Info |
+------------+--------------+--------------------+------------------+---------+-------+-------+------------------+
| 1801071833 | user_name | 10.1.1.1:49788 | test_db | Sleep | 131 | | NULL | 
| 2309292411 | user_name | 10.1.1.1:57642 | test_db | Query | 0 | NULL | show processlist |
复制代码

ID 表示建立连接的线程 ID 。客户端如果一段时间没有动作, Command 一栏就会显示Sleep,表示该连接处于空闲状态。 多线程的模型必然存在连接数有限的问题,因此客户端如果太长时间没有动静,连接器就会自动断开,回收线程。

缓存

连接建立后,就可以执行查询语句。查询语句首先会查询缓存中是否该语句的缓存结果,因为MySQL查询语句的执行结果可能会已K-V的形式存储在缓存中,SQL语句做KEY,查询的结果做值。

但是MySQL自带的缓存不建议使用,因为MySQL的缓存失效的非常频繁,只要对一个表有更新,那么这个表上所有的缓存都会失效,因此缓存命中率很低。不如在业务层用redis或者Memcached做缓存来的灵活高效。

MySQL语句是怎么实现的?需要进行合理的优化分析

 

分析器

如果缓存没有命中或者没用使用缓存,查询语句就会到达分析器,分析器就是一个编程语言的解析器,解析的是SQL语言。分析器的工作主要分为两个部分:

1 词法分析:词法分析时分析器会分析SQL语句中每个用空格或者逗号分割的字符串,把SELECT关键词提取出来,把语句里的标识为表名的字符串对应到MySQL的表,把每一个column对应到表里的字段。

2 语法分析:语法分析就是整个SQL语句是否满足语法要求,满足则能执行成功,不满足则报错。

优化器

优化器的功能一句话就能描述,却非常重要,决定了查询的性能。优化器是在表里面有多个索引的时候,决定使用哪个索引;或者在联表查询时决定用哪一张表关联哪一张表。

执行器

执行器的功能就是调用存储引擎的API存入数据或者取出数据。在调用存储引擎的API之前会先进行权限校验,校验该用户是否有对该表相应的操作权限。存储引擎如果索引没有命中,存储引擎就一条条扫表,直到查到指定的数据,然后返回给server层。如果命中了索引,存储引擎就在索引命中的数据中一条条扫描,直到查到指定的数据。如果索引类型为const类型,那么存储引擎会直接命中,然后返回。

查询语句如何实现

说完了MySQL的架构,我们用一个例子来总结一下一条查询语言是如何实现的

select * from t where id = 123 and name = 'tom'
复制代码

1 客户端与MySQL服务端建立网络连接,连接语句譬如:

mysql -h 127.0.0.1 -P 3306 -u 'name' -p'password!' database_name -A --default-character-set=utf8
复制代码

这条语句指定了MySQL服务器的地址为 127.0.0.1 ,也就是本机,端口号为3306,用户名为name,密码为password。指定库名为database_name,指定默认字符集为utf8。

2 完成连接后,如果开启了MySQL的缓存机制,这时候会先去查询缓存是否命中,如果缓存命中则直接返回缓存中的数据,如果缓存没有命中则继续向下执行。

3 分析器会分析每个词是否是有意义的,比如会解析到 select 是SQL的关键词, t 是表名, id 和 name 是表名中的字段.然后分析SQL的语法是否正常,该条语句可以正常执行。

4 优化器会分析在字段 id 和 name 上是否有索引,应该选择哪个索引。如果表 t 是以 id 为主键,那么分析器就会直接走主键索引了。

5 执行器开始执行前会先校验该用户是否有对该的读权限。通过权限校验后,执行器会调用存储引擎的API查询出这条数据,返回给客户端。

更新语句如何实现

一条更新语句的执行也要经历一条查询语句所要经历的几个阶段,连接器建立连接、分析器分析语法、优化器选择索引,执行器调用存储引擎的API,与查询语句相比,更新语句更为复杂,因为MySQL的InnoDB引擎要保证在数据库机器宕机以后数据不丢失。

同样以一个例子来总结查询语句是如何实现的

update t set name = 'tom' where id = 123
复制代码

1 客户端与MySQL服务端建立网络连接

2 分析器解析出这是一条更新语句

3 优化器选择主键索引,假设以 id 做该表的主键

4 执行器首先查询内存中是否有表 t 中 id 等于123的这一行数据,如果没有则通过存储引擎将这行数据取到内存中

5 执行器修改 name 字段为tom,得到一个新的行

6 存储引擎将新行的数据写入内存,并写redo log日志, 此时 redo log 处于 prepare 状态

7 执行器写bin log日志

8 存储引擎修改redo log日志为commit状态

MySQL语句是怎么实现的?需要进行合理的优化分析

 

以上步骤就是一个完整的更新语句执行过程,细心的读者会发现更新的数据只写入到内存,还没有持久化到磁盘,mysql异步定期将内存中的数据写入到磁盘,这一过程和操作系统的文件系统读写很像,文件系统中有一个page cache,写文件时先写cache然后用一个独立的进程将数据刷到磁盘。mysql使用了redo log日志,因此即使服务器宕机,数据也不会丢失,可以从redo log日志中恢复。

 

redo log日志与bin log日志

1 redo log日志是由server层来写,bin log日志由存储引擎来写的;

2 redo log 是物理日志,记录的是“在某个数据页上做了什么修改",bin log用于记录逻辑操作。在statement模式时,bin log记的就是SQL语句;

3 redo log日志循环写的,空间用完后,要先将数据刷到磁盘,然后清理空间。bin log日志是追加写入的;

4 redo log日志用于数据库崩溃后恢复数据,而bin log日志则用于主备同步,数据备份等;
 



Tags:MySQL   点击:()  评论:()
声明:本站部分内容来自互联网,内容观点仅代表作者本人,如有任何版权侵犯请与我们联系,我们将立即删除。
▌相关评论
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表
▌相关推荐
本文记录的是在CentOS 7下安装与配置jdk-8u162的过程。一、下载jdk-8u162版本链接地址:官方地址二、上传jdk到centos下三、检查当前linux系统上是否有jdk,linux命令:rpm -qa |...【详细内容】
2019-11-27   MySQL  点击:(0)  评论:(0)  加入收藏
1、MyCAT基础架构准备MyCAT基础架构图 摘自oldguo1.1 MyCAT基础架构准备1.1.1 环境准备:两台虚拟机 db01(10.0.0.51) db02(10.0.0.52) 每台创建四个mysql实例:3307 3308 3309 33...【详细内容】
2019-11-26   MySQL  点击:(2)  评论:(0)  加入收藏
MySQL中7个查询命令的优先级:FROM --> WHERE --> GROUP BY --> HAVING -->SELECT --> ORDER BY --> LIMIT==============================================================...【详细内容】
2019-11-26   MySQL  点击:(2)  评论:(0)  加入收藏
欢迎关注头条号:Java小野猫实践中如何优化MySQL实践中,MySQL的优化主要涉及SQL语句及索引的优化、数据表结构的优化、系统配置的优化和硬件的优化四个方面,如下图所示: SQL语...【详细内容】
2019-11-26   MySQL  点击:(3)  评论:(0)  加入收藏
1.拉取CentOS镜像由于CentOS7在Docker上有一个DBUS(进程间通信机制)的BUG,所以这里建议下载CentOS6的镜像。只需在镜像名后面加上TAG既可docker pull imagine10255/centos6-l...【详细内容】
2019-11-26   MySQL  点击:(3)  评论:(0)  加入收藏
概述这篇文章主要针对刚入门的开发,一般半个小时是可以学完的,当然要理解的话估计不止30分钟,对于初学者来说只需满足自己需求可以增删改查等简易的维护即可。下面介绍下MySQL...【详细内容】
2019-11-26   MySQL  点击:(2)  评论:(0)  加入收藏
phpMyAdmin工具在导入WordPress的MySQL数据库时报错了,吓死宝宝了,还以为压缩文件名必须以 .[格式].[压缩方式]结尾。如:.sql.zip压缩格式的问题呢,百度搜索一番后发现是由于...【详细内容】
2019-11-26   MySQL  点击:(1)  评论:(0)  加入收藏
1 复制概述Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,...【详细内容】
2019-11-25   MySQL  点击:(1)  评论:(0)  加入收藏
修改MySQL最大连接数有两个方法。一个是直接在命令行中修改,另一个是配置文件第一种:命令行修改。mysql -uroot -pmysql>show variables like 'max_connections';(查...【详细内容】
2019-11-21   MySQL  点击:(3)  评论:(0)  加入收藏
老张我在刚开始学习数据库的时候,没少走弯路。经常会遇到各种稀奇古怪的 error 信息,遇到报错会很慌张,急需一个解决问题的办法。跟无头苍蝇一样,会不加思索地把错误粘到百度上,希望赶紧查找一下有没有好的处理问题的方法...【详细内容】
2019-11-21   MySQL  点击:(2)  评论:(0)  加入收藏
[client]#默认连接端口                port = 3306#用于本地连接的socket套接字,一般linux下有用socket = /data/mysqldata/3306/mysql.sock#客户端编码de...【详细内容】
2019-11-20   MySQL  点击:(5)  评论:(0)  加入收藏
这篇文章主要是认识一下mysql中的变量,本来是不准备整理的,但是发现后面的存储过程等等在实际用的时候还挺多。mysql里面的变量你可以和java中的变量进行对比理解。主要分为两...【详细内容】
2019-11-20   MySQL  点击:(3)  评论:(0)  加入收藏
这篇文章主要是从mysql数据库的逻辑架构来认识掌握mysql的原理。只要是稍微有一点计算机的相关知识相信都能看明白。一、笼统的逻辑架构先给出一张逻辑架构图,这张图是让你从...【详细内容】
2019-11-20   MySQL  点击:(4)  评论:(0)  加入收藏
概述文章有点长哟,需要耐心看哟数据库系统是现代商业世界有序稳定运行的基石,数据和数据承载的交易事件的结果不会因系统故障而损伤。数据库系统的核心技术是事务处理机制,也是...【详细内容】
2019-11-20   MySQL  点击:(1)  评论:(0)  加入收藏
概述今天主要介绍一下mysql 中 时间函数now() current_timestamp() 和 sysdate() 以及三者之间的比较。now()、current_timestamp() 和 sysdate()在mysql中有三个时间函数用...【详细内容】
2019-11-19   MySQL  点击:(2)  评论:(0)  加入收藏
1 初识索引索引在MySQL中也叫是一种“键”,是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键,尤其是当表中的数据量越来越大时,索引对于性能的影响愈发...【详细内容】
2019-11-18   MySQL  点击:(6)  评论:(0)  加入收藏
索引是存储引擎用于快速查找记录的一种数据结构,我们可以通过合理的使用数据库索引以提高数据库的访问效率。接下来主要介绍在MySQL 数据库中索引类型,以及如何创建出更加合...【详细内容】
2019-11-18   MySQL  点击:(4)  评论:(0)  加入收藏
1.查看mysql连接数语句命令:2.首先作为超级用户登录到MYSQL,注意必须是超级用户,否则后面会提示没有修改权限。3.按回车键执行后显示目前的超时时间4.显示的是默认的超时时间,即...【详细内容】
2019-11-18   MySQL  点击:(4)  评论:(0)  加入收藏
1)在https://repo.mysql.com/ 上找到要安装的版本,这里我选择了 mysql80-community-release-el7-3.noarch.rpm2)在centos上 用wget 下载 https://repo.mysql.com/mysql80-com...【详细内容】
2019-11-14   MySQL  点击:(26)  评论:(0)  加入收藏
重要说明:需要同步的表必须要有主键 主键 主键otter是一款基于Java且免费、开源基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库的解决方案。 Otte...【详细内容】
2019-11-13   MySQL  点击:(17)  评论:(0)  加入收藏
最新更新
栏目热门
栏目头条