分享Mysql大型SQL文件快速恢复方案_F11 - 专业站长和开发者的学习网站

分享到

分享Mysql大型SQL文件快速恢复方案

Mysql 来源：互联网搜集作者：酷站发布时间：2019-09-11 15:00:56 人浏览

摘要

前言在使用Mysql数据库的过程中,经常需要使用到备份和恢复数据库,最简单便捷的方法便是通过导出SQL数据文件和导入SQL数据文件来完成备份和恢复,但是随着项目的增长,数据量越来越大,每次恢复就成了一件很头疼的事情。当我最近一次拉下项目中的5GB大小的数据

前言

在使用Mysql数据库的过程中,经常需要使用到备份和恢复数据库,最简单便捷的方法便是通过导出SQL数据文件和导入SQL数据文件来完成备份和恢复,但是随着项目的增长,数据量越来越大,每次恢复就成了一件很头疼的事情。

当我最近一次拉下项目中的5GB大小的数据库到本地进行恢复时,竟然需要耗时40-50分钟,想着日后的数据扩增,数据量越来越大,恢复成本也越来越高,于是便查阅了一些资料,可以通过以下设置来提高你的恢复效率.

1.更改备份参数

首先我们需要在备份数据库的时候,可以通过更改参数来提高我们的恢复效率.

mysqldump --extended-insert

mysqldump的--extended-insert参数表示批量插入,会将多个insert语句合并成一个语句,与没有开启-extended-insert的备份导入效率相差3-4倍.

使用--extended-insert=false导出的sql文件数据是这样的,每行一条insert语句,执行效率非常低下

使用--extended-insert=true导出的表如下图这种，一个很长的insert语句,会进行批量插入。

2.调整MYSQL快速插入参数

如果你的数据库储存引擎是MYISAM参数的话,可以将此参数设置到512M或256M,MyISAM会使用一种特殊的树状缓存来做出更快的批量插入。

相关文档：https://dev.mysql.com/doc/refman/5.7/en/server-system-variables.html#sysvar_bulk_insert_buffer_size

该值默认是8M = 8388608byte

查看插入缓冲区大小

SHOW VARIABLES LIKE '%bulk%';

设置插入缓冲区大小(全局)

SET GLOBAL bulk_insert_buffer_size =1024*1024*512;

设置插入缓冲区大小(session)

SET bulk_insert_buffer_size =1024*1024*256;

如果需要设置Mysql重新启动时,依然保留该值,需要将这段配置添加了my.cnf

[mysqld]
bulk_insert_buffer_size = 256M

3.关闭检查项

对于Innodb引擎中,我们可以关闭一些系统检查项来实现更快的插入的方案.

//关闭自动提交
SET autocommit=0;

//关闭唯一检查
set unique_checks = 0;

//关闭外键检查
SET foreign_key_checks=0;

//备份的时候开启--extended-insert参数

关于Innodb批量数据加载相关文档:https://dev.mysql.com/doc/refman/5.7/en/optimizing-innodb-bulk-data-loading.html

4.实践

做好以上优化后,你的Mysql恢复效率瞬间会提升一个档次,在没做以上参数优化时,每次恢复数据库都需要耗费40分钟的时间,设置后只需要16分钟左右,我的数据库文件容量在5GB左右.

以上就这些,途观有更好的方案和建议的话,希望各位同学一起探讨,Happy Coding。

您可能感兴趣的文章 :

原文链接 : https://segmentfault.com/a/1190000020351889

Tag : mysql(199)sql(75)

深入了解MySQL中的慢查询

一、什么是慢查询什么是MySQL慢查询呢？其实就是查询的SQL语句耗费较长的时间。具体耗费多久算慢查询呢？这其实因人而异，有些公司慢
MySQL中with rollup的用法及说明

MySQL with rollup的用法当需要对数据库数据进行分类统计的时候，往往会用上groupby进行分组。而在groupby后面还可以加入withcube和withrollup等关
mysql分组统计并求出百分比的方法

mysql分组统计并求出百分比 1、mysql 分组统计并列出百分比 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 SELECT point_id, pname_cn, play_
30种SQL语句优化的方法总结

1）对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。 2）应尽量避免在 where 子句中使用!=或操作符
达梦数据库获取SQL实际执行计划的方法

环境说明：操作系统：银河麒麟V10 数据库：DM8 相关关键字：DM数据库、SQL实际执行计划一、set autotrace trace disql下执行set autotrace trace开启
MySQL数据库约束的介绍

基本介绍约束用于确保数据库的数据满足特定的商业规则在mysql中，约束包括：not null，unique，primary key，foreign key 和check5种 1.primary key(主键
MySQL索引的介绍

1. MySQL 索引的最左前缀原则左前缀原则是联合索引在使用时要遵循的原则，查询索引可以使用联合索引的一部分，但是必须从最左侧开始。
windows下Mysql多实例部署的操作方法

当存在多个项目的时候，需要同时部署时，且只有一台服务器时，哪么就需要部署Mysql多个实例，原理很简单，多个mysql服务运行使用不同的
MySQL客户端/服务器运行架构介绍

之前对MySQL的认知只限于会写些SQL，本篇开始进行对MySQL进行深入的学习，记录和整理下自己对MySQL不熟悉的地方。如果有需要可以关注我的
mysql8.0主从复制搭建与配置方案

mysql主从搭建环境：ubuntu20.04.1，mysql：8.0.22。主：192.168.87.3 备：192.168.87.6 安装数据库 1 2 3 sudo apt-get install mysql-server sudo apt-get install mysql