├── 20180906-自动化运维平台的一些经验-蓝剑锋-20180906.pdf ├── JS追加新闻列表方法-王义军-20180913.pdf ├── MySQL巡检分享_20180817_徐晨亮.pdf ├── MySQL数据库灾难恢复_20180904_郭庆慧.md ├── Mysql与MongoDB的权限管理与申请_20180818_张煜杰.pdf ├── OpenTSDB接口说明及简单应用_20180821_杨奕聪.pdf ├── Oracle的监控系统---分享自2018年9月1日_日月新_时悦DBA.pdf ├── Oracle监控系统总览_20180831_时悦 .pdf ├── PMM监控MySQL(wechat log)_2018年8月23日_杜亮.pdf ├── PMM监控MySQL_2018年8月23日_杜亮.pdf ├── README.md ├── TiDB测试_20180820.pdf ├── saltstack在运维平台上的应用__競技世界_吴胜宝_2018年8月25日.pdf ├── 从开发人员的角度看DevOps_2018-08-30_无名小虾.pdf ├── 使用pt-archiver进行数据归档_20180820_曹鹏.pdf ├── 利用flume做日志的管理-2018年8月29日_厦门国际银行_王淇霖.pdf ├── 插件式Agent组件开发与实现_杭州XM_高级运维开发_李满满_2018年8月27日.pdf ├── 自动化运维中cmdb信息收集.pdf ├── 自动化运维中的脚本管理和工单管理.pdf ├── 论脚本在本司应用.pdf └── 运维监控redis集群的工具——分享自_2018年9月1日_谷阳_首汽_DBA.pdf /20180906-自动化运维平台的一些经验-蓝剑锋-20180906.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/20180906-自动化运维平台的一些经验-蓝剑锋-20180906.pdf -------------------------------------------------------------------------------- /JS追加新闻列表方法-王义军-20180913.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/JS追加新闻列表方法-王义军-20180913.pdf -------------------------------------------------------------------------------- /MySQL巡检分享_20180817_徐晨亮.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/MySQL巡检分享_20180817_徐晨亮.pdf -------------------------------------------------------------------------------- /MySQL数据库灾难恢复_20180904_郭庆慧.md: -------------------------------------------------------------------------------- 1 | #MySQL数据库灾难恢复 2 | @(MySQL)[灾难恢复] 3 | 4 | 作者：郭庆慧 5 | 6 | **灾难恢复**是意外情况造成数据丢失时，通过极端手段进行恢复的一种方式。 7 | **灾难恢复**说明备份已经无效，或者没有备份，所以一定要做好备份，不要用到灾难恢复。 8 | 9 | 10 | [toc] 11 | 12 | **本文模拟的灾难环境** 13 | - 1、实例无法正常启动，数据文件都还存在。 14 | - 2、表delete部分数据或者被truncate 15 | - 3、表被drop或者database 被drop 16 | **相关工具介绍** 17 | - 1、MySQL数据库实例。 18 | - 2、percona-data-recovery-tool-for-innodb 19 | **[源码下载地址]** 20 | https://launchpad.net/percona-data-recovery-tool-for-innodb/trunk/release-0.5/+download/percona-data-recovery-tool-for-innodb-0.5.tar.gz 21 | **[相关文档]** 22 | https://github.com/percona/innodb-data-recovery-tool-docs 23 | - 3 [undrop-for-innodb](https://github.com/twindb/undrop-for-innodb) 24 | **开源地址**：https://github.com/twindb/undrop-for-innodb 25 | ##1实例无法正常启动 26 | *环境*：MySQL 5.7.21 27 | 模拟故障：实例无法启动，数据文件还在。 28 | 恢复前的表结构和数据 29 | ```sql 30 | 31 | mysql> show create table t1 \G; 32 | *************************** 1. row *************************** 33 | Table: t1 34 | Create Table: CREATE TABLE `t1` ( 35 | `id` int(11) NOT NULL, 36 | `name` varchar(20) DEFAULT NULL, 37 | PRIMARY KEY (`id`) 38 | ) ENGINE=InnoDB DEFAULT CHARSET=latin1 39 | 1 row in set (0.00 sec) 40 | 41 | ERROR: 42 | No query specified 43 | 44 | mysql> select * from t1; 45 | +----+------+ 46 | | id | name | 47 | +----+------+ 48 | | 1 | a | 49 | | 4 | c | 50 | | 7 | b | 51 | | 11 | e | 52 | | 20 | d | 53 | | 30 | b | 54 | +----+------+ 55 | 6 rows in set (0.00 sec) 56 | ``` 57 | 58 | ###1.1**约束条件** 59 | 开启innodb_file_per_table=on。 60 | > 该参数表示表有独立的表空间，5.6.6默认开启 61 | ###1.2恢复*.frm文件 62 | - 1、新的实例 63 | - 2、创建新的数据库 64 | ```sql 65 | mysql> create database db1; 66 | mysql> use db1; 67 | ``` 68 | - 3、创建同名表 69 | ```sql 70 | mysql> create table t1(col1 int); 71 | ``` 72 | - 4、复制*.frm 覆盖当前实例的。t1.frm文件 73 | - 5、添加参数innodb_force_recovery=6到my.cnf文件 74 | > innodb_force_recovery默认值是0，6代表实例启动不校验idb文件 75 | 76 | - 6、重启实例 77 | - 7、从错误日志找出表的字段个数 78 | InnoDB: Table db1/t1 contains 1 user defined columns in InnoDB, **but 2 columns** in MySQL 79 | ###1.3恢复表结构 80 | 重复1.2的操作 81 | **注意**：需要注释掉#innodb_force_recovery=6 82 | **第二次建表语句** 83 | create table t1(col1 int,col2 int); 84 | **获得建表语句** 85 | ```sql 86 | Create Table: CREATE TABLE `t1` ( 87 | `id` int(11) NOT NULL, 88 | `name` varchar(20) DEFAULT NULL, 89 | PRIMARY KEY (`id`) 90 | ) ENGINE=InnoDB DEFAULT CHARSET=latin1 91 | 1 row in set (0.00 sec) 92 | ``` 93 | ###1.4创建新表 94 | - 1、注释参数)remove innodb_force_recovery=6 95 | - 2、重启实例 96 | - 3、删除旧表 97 | - 4、创建新表指定row_format=compact 98 | ```sql 99 | CREATE TABLE `t1` ( 100 | `id` int(11) NOT NULL, 101 | `name` varchar(20) DEFAULT NULL, 102 | PRIMARY KEY (`id`) 103 | ) ENGINE=InnoDB row_format=compact 104 | 105 | ``` 106 | ###1.5恢复*.ibd文件 107 | - 1、alter table t1 discard tablespace; 108 | - 2、覆盖idb文件，重启实例 109 | - 3、alter table t1 import tablespace; 110 | #2、表truancte或者delete 111 | >该情况下mysql被删除的数据页会很快被覆盖，所以先要把表的数据文件拷贝出来，保护现场，此种情况无法保证完全恢复，如果删除的数据被覆盖，只能恢复部分数据。 112 | ##2.1安装恢复工具 113 | ```bash 114 | 115 | tar -zxf percona-data-recovery-tool-for-innodb-0.5.tar.gz 116 | cd percona-data-recovery-tool-for-innodb-0.5/mysql-source/ 117 | ./configure 118 | cd .. 119 | make 120 | ``` 121 | 122 | ##2.2恢复数据 123 | 124 | ```bash 125 | 126 | # cd /data/ 127 | # mkdir -p /data/mysql/recover 128 | # cd /data/mysql/recover 129 | # cd db3/ 130 | # cp t.* /data/mysql/recover 131 | 132 | cd /usr/local/ 133 | cd percona-data-recovery-tool/ 134 | 135 | # ./page_parser -5 -f /data/db3/t.ibd 136 | # cd pages-1517613235/ 137 | 138 | # ./create_defs.pl --user root --password mysql --db db3 --table t1 > include/table_defs.h 139 | # cat include/table_defs.h 140 | 141 | [root@node1 percona-data-recovery-tool]# make 142 | 143 | [root@node1 percona-data-recovery-tool]# make 144 | 145 | # ./constraints_parser -5 -f pages-1517613235/FIL_PAGE_INDEX/0-42/ > /data/mysql/recover/t1.sql 146 | 147 | # cat /data/mysql/recover/t.sql | wc -l 148 | # head -10 /data/mysql/recover/t1.sql 149 | ``` 150 | 151 | 152 | 153 | -------------------------------------------------------------------------------- /Mysql与MongoDB的权限管理与申请_20180818_张煜杰.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/Mysql与MongoDB的权限管理与申请_20180818_张煜杰.pdf -------------------------------------------------------------------------------- /OpenTSDB接口说明及简单应用_20180821_杨奕聪.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/OpenTSDB接口说明及简单应用_20180821_杨奕聪.pdf -------------------------------------------------------------------------------- /Oracle的监控系统---分享自2018年9月1日_日月新_时悦DBA.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/Oracle的监控系统---分享自2018年9月1日_日月新_时悦DBA.pdf -------------------------------------------------------------------------------- /Oracle监控系统总览_20180831_时悦 .pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/Oracle监控系统总览_20180831_时悦 .pdf -------------------------------------------------------------------------------- /PMM监控MySQL(wechat log)_2018年8月23日_杜亮.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/PMM监控MySQL(wechat log)_2018年8月23日_杜亮.pdf -------------------------------------------------------------------------------- /PMM监控MySQL_2018年8月23日_杜亮.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/PMM监控MySQL_2018年8月23日_杜亮.pdf -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | # devops_now 2 | 这是一个特别的项目，计划每一到两个月会是一个里程碑，内容侧重于运维自动化方向。侧重前端架构，后端设计，产品设计，其他方向的也可以。 3 | 只要加入了这个群，就要抛开所谓的专家名号，在里面都是同学。 4 | 我的希望是：大家谈起这个群，会自豪的说，我也在里面分享过。 5 | 6 | # 群存在的意义 7 | - 督促和学习。为了大家能够方便技术分享，同时能够激发大家的学习热情，一起坚持学习和监督。 8 | - 充分利用技术分享资源。自动化运维群的项目从去年年底发起到现在已经快半年了，已经积累了大量的学习素材，希望大家能够充分利用起这些资源。 9 | - 公益化群分享。群分享对接了公益捐献，即讲师分享后，群友可以通过捐款的方式打赏，一举两得，已累计通过分享打赏捐献累计约1000元。 10 | 11 | 12 | # 入群要求： 13 | 入群的要求就是参与到分享里来，群里实行淘汰制，每个里程碑之后会重置微信群， 14 | 15 | # 不欢迎哪些同学 16 | - 不愿意分享， 17 | - 只是过来学习，只愿意做个单纯的吃瓜群众 18 | - 太忙了，没时间分享 19 | - 自认为水平太菜，没有可分享的内容 20 | - 以上请绕行，不要耽误彼此的时间 21 | 22 | # 轮值群主制度： 23 | 群管理实行轮值群主制度，每个人要么技术分享或者群主轮值。轮值占用的有效时间不会超过半个小时，不需要一直守在手机前。 24 | 轮值的内容 25 | - 1.维护群里的正常秩序。 26 | - 2.协助群友进行技术分享 27 | - 3.踢出不符合规则的同学 28 | 29 | # 入群方式： 30 | 私聊微信 jeanron100 注明:姓名—公司-是否愿意分享 31 | 32 | # 感谢嘉宾 33 | - 浙江日报 DBA 徐晨亮 20180817分享 34 | - 一起作业 DBA 张煜杰 20180818分享 35 | - 房多多 DBA 曹鹏 20180820分享 36 | - 沪江 DBA负责人 胡钉钉 20180820分享 37 | - 竞技世界 DBA 杨奕聪 20180821分享 38 | - 嘉利集团 运维 朱远建 20180822分享 39 | - 青峰网络 运维 杜亮 20180823分享 40 | - 上海梦创双杨 运维 吴林军 20180824分享 41 | - 竞技世界 运维开发 吴胜宝 20180825分享 42 | - 杭州XM 高级运维开发 李满满 20180827分享 43 | - 厦门国际银行 运维 王淇霖 20180830分享 44 | - Britannica Creations Limited 创始人 孙阿迦 20180831分享 45 | - 日月光集团 DBA 时悦 20180831分享 46 | - 首汽共享汽车 高级DBA 谷阳 20180831,20180901分享 47 | - 东方龙马科技有限公司 DBA 郭庆慧 20180903分享 48 | - 趣头条 运维工程师 沈越飞 20180903分享 49 | - 正保集团 高级DBA 李小龙 20180904分享 50 | - bestseller DBA 郭亮 20180905分享 51 | - TCL 高级DBA 蓝剑锋 20180906分享 52 | - 上海云济信息科技 运维 李传奇 20180912分享 53 | - 岱嘉医学-技术支持 刘丰奇 20180914分享 54 | 55 | -------------------------------------------------------------------------------- /TiDB测试_20180820.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/TiDB测试_20180820.pdf -------------------------------------------------------------------------------- /saltstack在运维平台上的应用__競技世界_吴胜宝_2018年8月25日.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/saltstack在运维平台上的应用__競技世界_吴胜宝_2018年8月25日.pdf -------------------------------------------------------------------------------- /从开发人员的角度看DevOps_2018-08-30_无名小虾.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/从开发人员的角度看DevOps_2018-08-30_无名小虾.pdf -------------------------------------------------------------------------------- /使用pt-archiver进行数据归档_20180820_曹鹏.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/使用pt-archiver进行数据归档_20180820_曹鹏.pdf -------------------------------------------------------------------------------- /利用flume做日志的管理-2018年8月29日_厦门国际银行_王淇霖.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/利用flume做日志的管理-2018年8月29日_厦门国际银行_王淇霖.pdf -------------------------------------------------------------------------------- /插件式Agent组件开发与实现_杭州XM_高级运维开发_李满满_2018年8月27日.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/插件式Agent组件开发与实现_杭州XM_高级运维开发_李满满_2018年8月27日.pdf -------------------------------------------------------------------------------- /自动化运维中cmdb信息收集.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/自动化运维中cmdb信息收集.pdf -------------------------------------------------------------------------------- /自动化运维中的脚本管理和工单管理.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/自动化运维中的脚本管理和工单管理.pdf -------------------------------------------------------------------------------- /论脚本在本司应用.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/论脚本在本司应用.pdf -------------------------------------------------------------------------------- /运维监控redis集群的工具——分享自_2018年9月1日_谷阳_首汽_DBA.pdf: -------------------------------------------------------------------------------- https://raw.githubusercontent.com/jeanron100/devops_now/c4e056c156eefb7ab65afc8ab0228d8031747e49/运维监控redis集群的工具——分享自_2018年9月1日_谷阳_首汽_DBA.pdf --------------------------------------------------------------------------------