一、数据库基础
1、什么是数据库
数据库是一个长期存储在计算机内的、有组织的、有共享的统一管理的数据集合。它是一个按数据结构来存储和管理数据的计算机软件系统。数据库包括两层含义:保管数据的“仓库”,以及数据管理的方法和技术。
2、表
在关系数据库中,数据库表是一系列二维数组的集合,用来存储数据和操作数据的逻辑结构。它由纵向的列和横向的行组成。行被称为记录,是组织数据的单位;列被称为字段,每一列表示记录的一个属性,有相应的描述信息,如数据类型、数据宽度等。
3、数据类型
数据类型决定了数据在计算机中的存储格式,代表不同的信息类型。常用的数据类型有整数数据类型、浮点数数据类型、精确小数类型、二进制数据类型、日期/时间数据类型、字符串数据类型。
4、主键
主键又称主码,用于唯一地标识表中的每一条记录。可以定义表中的一列或多列为主键,主键列上既不能有两行相同的值,也不能为空值。
二、数据库技术构成
数据库系统由硬件部分和软件部分共同构成。硬件主要用于存储数据库中的数据,包括计算机、存储设备等。软件部分主要包括DBMS、支持DBMS运行的操作系统,以及支持多种语言进行应用开发的访问技术等。
1、数据库系统
数据库系统有3个主要的组成部分。
- 数据库:用于存储数据的地方。
- 数据库管理系统:用于管理数据库的软件。
- 数据库应用程序:为了提高数据库系统的处理能力所使用的管理数据库的软件补充。
数据库系统(Database System)提供了一个存储空间,用以存储各种数据,可以将数据库视为一个存储数据的容器。一个数据库可能包含许多文件,一个数据库系统中通常包含许多数据库。
数据库管理系统(DataBase Management System,DBMS)是用户创建、管理和维护数据库时所使用的软件,位于用户与操作系统之间,对数据库进行统一管理。DBMS能定义数据存储结构,提供数据的操作机制,维护数据库的安全性、完整性和可靠性。
数据库应用程序(DataBase Application)虽然已经有了DBMS,但是在很多情况下,DBMS无法满足对数据管理的要求。数据库应用程序的使用可以满足对数据管理的更高要求,还可以使数据管理过程更加直观和友好。数据库应用程序负责与DBMS进行通信,访问和管理DBMS中存储的数据,允许用户插入、修改、删除DB中的数据。
2、SQL语言
对数据库进行查询和修改操作的语言叫做SQL。SQL的含义是结构化查询语言(Structured Query Language)。SQL有许多不同的类型,有3个主要的标准:ANSI(美国国家标准机构)SQL;对ANSI SQL修改后在1992年采纳的标准,称为SQL-92或SQL2;最近的SQL-99标准,从SQL2扩充而来,并增加了对象关系特征和许多其他新功能。各大数据库厂商提供不同版本的SQL,这些版本的SQL不但能包括原始的ANSI标准,而且在很大上支持SQL-92标准。
SQL语言包含以下4部分。
(1)数据定义语言(DDL):DROP、CREATE、ALTER等语句。
(2)数据操作语言(DML):INSERT(插入)、UPDATE(修改)、DELETE(删除)语句。
(3)数据查询语言(DQL):SELECT语句。
(4)数据控制语言(DCL):GRANT、REVOKE、COMMIT、ROLLBACK等语句。
3、数据库访问接口
不同的程序设计语言会有各自不同的数据库访问接口,程序语言通过这些接口执行SQL语句,进行数据库管理。主要的数据库访问接口有ODBC、JDBC、ADO.NET和PDO。
1. ODBC
ODBC(Open Database Connectivity,开放数据库连接)技术为访问不同的SQL数据库提供了一个共同的接口。ODBC使用SQL作为访问数据的标准。这一接口提供了最大限度的互操作性:一个应用程序可以通过共同的一组代码访问不同的数据库管理系统(DBMS)。
一个基于ODBC的应用程序对数据库的操作不依赖任何DBMS,不直接与DBMS打交道,所有的数据库操作由对应的DBMS的ODBC驱动程序完成。也就是说,不论是Access、MySQL还是Oracle数据库,均可用ODBC API进行访问。由此可见,ODBC的最大优点是能以统一的方式处理所有的数据库。
2.JDBC
JDBC(Java DataBase Connectivity,Java数据库连接)用于Java应用程序连接数据库的标准方法,是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,由一组用Java语言编写的类和接口组成。
3.ADO.NET
ADO.NET是微软在.NET框架下开发设计的一组用于和数据源进行交互的面向对象类库。ADO.NET提供了对关系数据、XML和应用程序数据的访问,允许和不同类型的数据源以及数据库进行交互。
4.PDO
PDO(PHP Data Object)为PHP访问数据库定义了一个轻量级的、一致性的接口,提供了一个数据访问抽象层。这样,无论使用什么数据库,都可以通过一致的函数执行查询和获取数据。
3、什么是MySQL
MySQL是一个小型关系数据库管理系统。与其他大型数据库管理系统相比,MySQL规模小、功能有限,但是它体积小、速度快、成本低,并且提供的功能对稍微复杂的应用来说已经够用,这些特性使得MySQL成为世界上最受欢迎的开放源代码数据库。
1.客户端/服务器软件
主从式架构(Client-Server Model)或客户端/服务器(Client/Server)结构,是一种网络架构,通常在该网络架构下的软件可分为客户端和服务器。
服务器是整个应用系统资源的存储与管理中心,多个客户端则各自处理相应的功能,共同实现完整的应用。在客户端/服务器结构中,客户端用户的请求被传送到数据库服务器,数据库服务器进行处理后,将结果返回给用户,从而减少了网络数据传输量。
服务器一般使用高性能的计算机,并配合使用不同类型的数据库。
2.MySQL版本
- MySQL Community Server(社区版服务器):该版本完全免费,但是官方不提供技术支持。
- MySQL Enterprise Server(企业版服务器):能够以很高的性价比为企业提供数据仓库应用,支持ACID事务处理,提供完整的提交、回滚、崩溃恢复和行级锁功能。但是该版本需要付费使用,官方提供电话技术支持。
MSQL的命名机制由3个数字和1个后缀组成,例如:MySQL-8.0.13
(1)第1个数字(8)是主版本号,描述了文件格式,所有版本8的发行版都有相同的文件格式。
(2)第2个数字(0)是发行级别,主版本号和发行级别组合在一起便构成了发行序列号。
(3)第3个数字(13)是在此发行系列的版本号,随每次新发布版本递增。通常选择已发行的最新版本。
3.MySQL的优势
(1)速度:运行速度快。
(2)价格:MySQL对大多数个人来说是免费的。
(3)容易使用:与其他大型数据库的设置和管理相比,其复杂程度较低,易于学习。
(4)可移植性:能够工作在众多不同的系统平台,例如Windows、Linux、UNIX、Mac OS等。
(5)丰富的接口:提供了用于C、C++、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等语言的API。
(6)支持查询语言:MySql可以利用标准SQL语法和支持ODBC的应用程序。
(7)安全性和连接性:十分灵活和安全的权限和密码系统,允许基于主机的验证。连接到服务器时,所有的密码传输均采用加密形式,从而保证了密码安全。由于MySQL是网络化的,因此可以在因特网上的任何地方访问,提高数据共享的效率。
4、MySQL工具
MySQL数据库系统提供了许多命令行工具,这些工具可以用来管理MySQL服务器、对数据库进行访问控制、管理MySQL用户以及数据库备份和回复工具等。
1. MySQL命令行实用程序
mysql服务器端实用工具程序如下:
(1)mysqld:SQL后台程序(MySQL服务器进程)。必须在该程序运行之后,客户端才能通过连接服务器来访问数据库。
(2)mysqld_safe:服务器启动脚本。在UNIX和NetWare中推荐使用mysqld_safe来启动mysqld服务器。mysqld_safe增加了一些安全特性,例如当出现错误时重启服务器并向错误日志文件写入运行时间信息。
(3)mysql.server:服务器启动脚本。该脚本用于使用包含为特定级别的、运行启动服务的脚本的、运行目录的系统。它调用mysqld_safe来启动MySQL服务器。
(4)mysql_multi:服务器启动脚本,可以启动或停止系统上安装的多个服务器。
(5)myisamchk:用来描述、检查、优化和维护MyISAM
(6)mysqlbug:MySQL缺陷报告脚本。它可以用来向MySQL邮件发送缺陷报告。
(7)mysql_install_db:该脚本用默认权限创建MySQL授权表。通常只是在系统上首次安装MySQL时执行一次。
MySQL客户端实用工具程序如下:
(1)myisampack:压缩MyISAM表,以产生更小的只读表的一个工具。
(2)mysql:交互式输入SQL语句或从文件以批处理模式执行它们的命令行工具。
(3)mysqlaccess:检查访问主机名、用户名和数据库组合的权限脚本。
(4)mysqladmin:执行管理操作的客户程序,例如创建或删除数据库、重载授权表、将表刷新到硬盘上以及重新打开日志文件。mysqladmin还可以用来检索版本、进程,以及服务器的状态信息。
(5)mysqlbinlog:从二进制日志读取语句的工具。在二进制日志文件中包含执行过的语句,用来帮助系统从崩溃中恢复。
(6)mysqlcheck:检查、修复、分析以及优化表的表维护客户程序。
(7)mysqldump:将MySQL数据库转存到一个文件的客户程序。
(8)mysqlhotcopy:当服务器运行时,快速备份MyISAM或ISAM表的工具。
(9)mysqlimport:使用LOAD DATA INFILE将文本文件导入相关表的客户程序。
(10)mysqlshow:显示数据库、表、列以及索引相关信息的客户程序。
(11)perror:显示系统或MySQL错误代码含义的工具。
5、MySQL 8.0的新特性简述
1、数据字典
MySQL8.0包含一个事务数据字典,用于存储有关数据库对象的信息。在MySQL8.0之前的版本中,字典数据存储在元数据文件和非事务表中。
2、原子数据定义语句
MySQL8.0支持原子数据定义语言(DDL)语句。此功能称为原子DDL。原子DDL语句将与DDL操作关联的数据字典更新,存储引擎操作和二进制日志写入组合到单个原子事务中。即使服务器在操作期间暂停,也会提交事务,并将适用的更改保留到数据字典、存储引擎和二进制日志,或者回滚事务。通过在MySQL8.0中引入MySQL数据字典。可以实现原子DDL。在早期的MySQL版本中,元数据存储在元数据文件、非事务性表和存储引擎特定的字典中,需要中间提交。MySQL数据字典提供的集中式事务元数据消除了这一障碍,使得将DDL语句操作重组为原子事务成为可能。
3、安全和账户管理
MySQL8.0通过以下功能增强数据库的安全性,并在账户管理中实现更高的DBA灵活性。
MySQL数据库的授权表统一为InnoDB(事务性)表。每个语句都是事务性的,并且对所有创建的用户都是成功或者回滚,发生任何错误都无效。如果成功,就将语句写入二进制日志;如果失败则不写入,发生回滚并且不进行任何更改。
MySQL8.0开始支持角色,角色可以看成是一些权限的集合,为用户赋予统一的角色,权限的修改直接通过角色来进行,无须为每个用户单独授权。管理员可以创建和删除角色。
MySQL8.0开始维护有关密码历史的信息,从而限制了以前密码的重用。管理员可以在全局以及每个账户的基础上建立密码重用策略,从而在密码更改时限制使用以前使用过的密码。
MySQL8.0允许账户具有双密码,从而在多服务器系统中无缝地执行分阶段密码更改,无需停机。
4、资源管理
MySQL现在支持资源组的创建和管理,并允许将服务器内运行的线程分配给特定的资源组。资源组属性可以控制其资源,以启用或限制资源组中线程的资源消耗。数据库管理员可以根据不同的工作负载修改这些属性。
5、InnoDB增强功能
MySQL8.0增强了InnoDB的功能,主要表现如下:
(1)MySQL8.0将自增主键的计数器持久化到重做日志中。每次计数器发生改变,都会将其写入重做日志中。如果数据库重启,InnoDB会根据重做日志中的信息来初始化计数器的内存值。为了尽量减小对系统性能的影响,计数器写入重做日志时,并不会马上刷新数据库系统。
(2)如果索引损坏,InnoDB将索引损坏标志写入重做日志,从而使得损坏标志安全。InnoDB还将内存中损坏标志数据写入每个检查点上的引擎专用系统表。在恢复期间,InnoDB从两个位置读取损坏标志并在将内存表和索引对象标记为损坏之前合并结果。
(3)新的动态变量innodb_deadlock_detect可用于禁用死锁检测。在高并发系统上,当许多线程等待同一个锁时,死锁检测会导致速度减慢,此时禁用死锁检测可能更有效。
6.字符集支持
默认字符集已经更改latin1为utf8mb4。该utf8mb4字符集有几个新的排序规则,其中包括utf8mb4_ja_0900_as_cs。
7.增强JSON功能
MySQL增强JSON功能主要表现在以下几个方面:
(1)添加了->>运算符,相当于调用JSON_UNQUOTE()的结果。
(2)添加了两个JSON聚合函数JSON_ARRAYAGG()和JSON_OBJECTAGG()将列或表达式作为其参数,并将结果聚合为单个JSON数组。JSON_OBJECTAGG()取两个列或表达式,将其解释为键和值,并将结果作为单个JSON对象返回。
(3)添加了JSON实用程序功能JSON_PRETTY(),JSON以易于阅读的格式输出现有值;每个JSON对象成员或数组值都打印在一个单独的行上子对象或数组相对于其父对象是2个空格。
(4)添加的JSON_MERGE_PATCH()可以合并符合RFC7396标准的JSON。在两个JSON对象上使用时,可以将它们合并为单个JSON对象。
8.数据类型的支持
MySQL8.0支持将表达式用作数据类型的默认值,包括BLOB、TEXT、GEOMETRY和JSON数据类型,在以前的版本中是根本不会被分配默认值的。
9.查询的优化
MySQL8.0在查询方面的优化表现如下:
(1)MySQL8.0开始支持不可见索引。优化器根本不使用不可见索引,但会以其他方式正常维护。默认情况下,索引是可见的。通过不可见索引,数据库管理员可以检索索引对查询性能的影响,而不会进行破坏性的更改。
(2)MySQL8.0开始支持降序索引。DESC在索引定义中不再被忽略,而且会降序存储索引字段。
10.公用表表达式
MySQL现在支持非递归和递归的公用表达式。公用表表达式允许使用命名的临时结果集,通过允许WITH语句之前的子句SELECT和某些其他语句来实现。
11.窗口函数
在MySQL8.0版本中,新增了一个窗口函数,用它可以实现很多新的查询方式。窗口函数类似于SUM()、COUNT()那样的集合函数,但它并不会将多行查询结果合并为一行,而是将结果放回多行当中。
12.统计直方图
MySQL8.0实现了统计直方图。利用直方图,用户可以对一张表的一列作数据分布的统计,特别是针对没有索引的字段。这可以帮助查询优化器找到更优的执行计划。
13.备份锁
新类型的备份锁在联机备份期间允许DML,同时防止可能导致快照不一致的操作。新的备份锁由LOCK INSTANCE FOR BACKUP和UNLOCK INSTANCE语法支持。管理员拥有BACKUP_ADMIN权限才能使用这些语句。