自动化安装流程：

选硬件---系统安装----系统的初始化----服务的安装和配置----机器的管理（日志的收集，软件包的上下线，服务的管理等等）

自动化运维的精髓所在

所谓的运维自动化实际上就是某些运维过程的自动化，比如初始化自动化、测试/部署自动化，加监控自动化，简单报警处理自动化，业务降级/恢复自动化....集腋成裘，慢慢的让系统可以承担更多的重复劳动，减少人力投入和学习成本。

自动化运维常用工具

安装系统	工具pxe/cobbler	用途：安装系统
虚拟化系统	KVM/xen/vmware	用途:虚拟机
应用部署	puppet/ansible/saltstack	中大型规模
命令执行	Ansible/fabric/func/shell脚本	中小型规模

介绍下puppet

Puppet：更多的体现在配置文件的管理上，实现定期server会和master进行通信，通信过后master会把各种配置定期推送到agent的节点上。

比如，如果要修改nginx配置文件，只要在master上修改，然后master会把配置文件推送到agent端，适用于大型环境

企业级自动化运维工具应用实战-ansible

使用场景：

公司计划在年底做一次大型市场促销活动，全面冲刺下交易额，为明年的上市做准备。公司要求各业务组对年底大促做准备，运维部要求所有业务容量进行三倍的扩容，并搭建出多套环境可以共开发和测试人员做测试，运维老大为了在年底有所表现，要求运维部门同学尽快实现，当你接到这个任务时，有没有更快的解决方式？（要在短时间内快速的扩充业务容量的最快方法就是横向扩展scale out，那么数量很多的机器，如何快速布置呢，一台一台布置效率就太低了，这时候就可以使用运维自动化工具ansible等等，只要管理一台，其他标准化的机器就都OK了）

目前多数公司遇到的运维问题现状：

1、硬件选型多样化

2、系统多版本并存3、目录结构混乱4、运维人员水平参差不齐5、历史遗留问题多6、同一软件出现多个版本7、无法批量化操作8、工作效率低，故障率高9、项目上线操作繁琐

日常运维工作中的重要事件：

1、添加监控，收集系统指标

2、对日志进行归档以及管理3、数据备份于恢复4、对计划任务进行管理5、对软件包进行部署和管理6、对脚本进行批量执行7、对文件进行批量复制和移动8、设置文件或者目录对应的权限9、关闭和启动服务10、对代码程序进行上下线

ansible是什么

ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。

ansible是基于 paramiko 开发的,并且基于模块化工作，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。ansible不需要在远程主机上安装client/agents，因为它们是基于ssh来和远程主机通讯的。ansible目前已经已经被红帽官方收购，是

自动化运维工具中大家认可度最高的，并且上手容易，学习简单。是每位运维工程师必须掌握的技能之一。

ansible特点

1、部署简单，只需在主控端部署Ansible环境，被控端无需做任何操作；

2、默认使用SSH协议对设备进行管理；3、有大量常规运维操作模块，可实现日常绝大部分操作。4、配置简单、功能强大、扩展性强；5、支持API及自定义模块，可通过Python轻松扩展；6、通过Playbooks来定制强大的配置、状态管理；7、轻量级，无需在客户端安装agent，更新时，只需在操作机上进行一次更新即可；8、提供一个功能强大、操作性强的Web管理界面和REST API接口 ——AWX平台。（目前这个应该是付费项目）

ansible架构图

Ansible：Ansible核心程序。HostInventory：记录由Ansible管理的主机信息，包括端口、密码、ip等。（一般端口都是默认端口不用指定也行，基于ssh私钥登录的话密码也不用了，就指定个ip地址或者主机名就成，主机名要能被解析）Playbooks：“剧本”YAML格式文件，多个任务定义在一个文件中，定义主机需要调用哪些模块来完成的功能。（类似于shell脚本，多条ansible命令的集合，十分注意格式。）CoreModules：核心模块，主要操作是通过调用核心模块来完成管理任务。（现在已经内嵌了巨多模块，已经可以满足我们日常运维的工作了，有特别需要了再自己定义模块）CustomModules：自定义模块，完成核心模块无法完成的功能，支持多种语言。ConnectionPlugins：连接插件，Ansible和Host通信使用

ansible任务执行模式

Ansible系统由控制主机对被管节点的操作方式可分为两类，即ad- hoc和playbook：

·ad-hoc模式使用单个模块，支持批量执行单条命令。 ad****-hoc 命令是一种可以快速输入的命令，而且不需要保存起来的命令。就相当于bash中的一句话shell。

·playbook模式是Ansible主要管理方式，也是Ansible功能强大的关键所在。playbook通过多个task集合完成一类功能，如Web服务的安装部署、数据库服务器的批量备份等。可以简单地把playbook理解为通过组合多条ad-hoc操作作的配置文件。

Ansible命令执行过程

1、加载自己的配置文件 默认/etc/ansible/ansible.cfg

2、查找对应的主机配置文件，找到要执行的主机或者组3、加载自己对应的模块文件，如command4、通过ansible将模块或命令生成对应的临时py文件，并将该文件传输至远程服务器的对应的目录下5、对应执行用户的家目录下的.ansible/tmp/XXX/XXX.PY文件6、给文件+x执行7、执行并返回结果8、删除临时py文件，sleep 0退出

ansible安装方式

ansible安装常用两种方式，yum安装和pip程序安装

这里提供二种安装方式,任选一种即可1使用yum安装yum install epel-release -yyum install ansible –y2 使用pip（python的包管理模块）安装（与perl的cpanm模式安装类似）pip install ansible如果没pip,需先安装pip.yum可直接安装：yum install python-pippip install ansible

ansible程序结构

安装目录

配置文件目录：/etc/ansible/执行文件目录：/usr/bin/Lib库依赖目录：/usr/lib/pythonX.X/site-packages/ansible/Help文档目录：/usr/share/doc/ansible-X.X.X/Man文档目录：/usr/share/man/man1/

ansible配置文件的查找顺序

(1).检查环境变量ANSIBLE_CONFIG指向的路径文件(export

ANSIBLE_CONFIG=/etc/ansible.cfg)(2).~/.ansible.cfg,检查当前目录下的ansible.cfg配置文件(3)./etc/ansible.cfg 检查etc目录的配置文件先找到哪个，哪个生效。

Ansible配置文件

设置ansible.cfg配置参数，ansible有许多参数，下面列出常用的参数：

inventory： #这个参数表示资源清单inventory文件的位置，资源清单就是一些Ansible需要连接管理的主 机列表。这个参数的配置实例如下：inventory = /etc/ansible/hosts      放可管理链接主机的地方library：Ansible的操作动作，无论是本地或远程，都使用一小段代码来执行，这小段代码称为模块，这个library参数就是指向存放Ansible模块的目录。配置实例如下：library = /usr/share/ansible            放ansible平时用的模块的地方（自定义模块）Ansible支持多个目录方式，只要用冒号（：）隔开就可以，同时也会检查当前执行playbook位置下的./library目录。forks： 设置默认情况下Ansible最多能有多少个进程同时工作， 从Ansible 1.3开始,fork数量默认自动设置为主机数量或者潜在的主机数量,默认设置最多5个进程并行处理。具体需要设置多少个，可以根据控制主机的性能和被管节点的数量来确定，可能是 50或100。默认值5是非常保守的值，配置实例如下：forks = 5         ansible能一下管理链接多少台机器，默认5台偏保守sudo_user：这是设置默认执行命令的用户，也可以在playbook中重新设置这个参数。配置实例如下：sudo_user = rootremote_port：这是指定连接被管节点的管理端口，默认是22。除非设置了特殊的SSH端口，不然这个参数一般是 不需要修改的。配置实例如下：remote_port = 22host_key_checking：    这是设置是否检查SSH主机的密钥。可以设置为True或False，关闭后第一次连接没有提示配置实例host_key_checking = Falsetimeout：这是设置SSH连接的超时间隔，单位是秒。配置实例如下：timeout = 60log_path：Ansible系统默认是不记录日志的，如果想把Ansible系统的输出记录到日志文件中，需要设置log_path来指定一个存储Ansible日志的文件。配置实例如下：    log_path = /var/log/ansible.log   建议打开日志另外需要注意，执行Ansible的用户需要有写入日志的权限，模块将会调用被管节点的syslog来记录

Ansible主机清单

可以直接定义一个主机信息，也可以把多个主机放到一个机器组中，起个组名。格式如下（主机匹配还支持统配符来匹配）

1、直接指明主机地址或主机名：

## green.example.com## blue.example.com## 192.168.100.1# 192.168.100.10

2、定义一个主机组[组名]把地址或主机名加进去

[mysql_test]192.168.253.159192.168.253.160192.168.253.153#组成员可以使用通配符来匹配，如下 192.168.2.[1:6]#表示匹配从192.168.2.1——192.168.2.6的主机

Ansible常用命令

/usr/bin/ansible     # Ansibe AD-Hoc 临时命令执行工具，常用于临时命令的执行/usr/bin/ansible-doc     # Ansible 模块功能查看工具/usr/bin/ansible-galaxy  # 下载/上传优秀代码或Roles模块 的官网平台，基于网络的/usr/bin/ansible-playbook   # Ansible 定制自动化的任务集编排工具/usr/bin/ansible-pull   # Ansible远程执行命令的工具，拉取配置而非推送配置（使用较少，海量机器时使用，对运维的架构能力要求较高）/usr/bin/ansible-vault  # Ansible 文件加密工具/usr/bin/ansible-console    # Ansible基于Linux Consoble界面可与用户交互的命令执行工具

Ansible-doc命令

一般用法:

ansible-doc -l 获取模块信息ansible-doc -s MOD_NAME 获取指定模块的使用帮助ansible-doc-h Usage: ansible-doc [options] [module...]Options: -h, --help show this help message and exit # 显示命令参数API文档-l, --list List available modules #列出可用的模块-M MODULE_PATH, --module-path=MODULE_PATH #指定模块的路径specify path(s) to module library (default=None) -s, --snippet Show playbook snippet for specified module(s) #显示playbook制定模块的用法--version show program's version number and exit # 显示ansible-doc的版本号查看模块列表：ion# ansible-doc -lAnsible命令详解命令格式：ansible 
    
      [-f forks] [-m module_name] [-a args]我们可以通过 ansible -h查看帮助Usage: ansible 
     
       [options] Options:
     
    

-a MODULE_ARGS, --args=MODULE_ARGS	模块的参数,如果执行默认COMMAND的模块，即是命令参数,如：“date”,“pwd”等等 module arguments 模块参数
-k, --ask-pass ask for SSH password	登录密码，提示输入SSH密码而不是假设基于密钥的验证
--ask-su-pass	su切换密码
-K, --ask-sudo-pass	提示密码使用sudo,sudo表示提权操作
--ask-vault-pass	ask for vault password
-B SECONDS, --background=SECONDS	后台运行超时时间 (default=N/A)
-C, --check don‘t make any changes; instead, try to predict some of the changes that may occur	只是测试一下会改变什么内容，不会真正去执行;相反,试图预测一些可能发生的变化
-c CONNECTION, --connection=CONNECTION	连接类型使用。(default=smart)
-f FORKS, --forks=FORKS	并行任务数。NUM被指定为一个整数,默认是5
-h,	打开帮助文档API
-i INVENTORY,	指定库存主机文件的路径,默认为/etc/ansible/hosts
-m MODULE_NAME, --module-name=MODULE_NAME	执行模块的名字，默认使用 command 模块，所以如果是只执行单一命令可以不用 -m参数 (default=command)
-M MODULE_PATH, --module-path=MODULE_PATH	要执行的模块的路径，默认为/usr/share/ansible/ (default=/usr/share/ansible/)
-o, --one-line condense output	压缩输出，摘要输出.尝试一切都在一行上输出。
-P POLL_INTERVAL, --poll=POLL_INTERVAL	调查背景工作每隔数秒。需要- b (default=15)
-private-key=PRIVATE_KEY_FILE	私钥路径，使用这个文件来验证连接
-S, --su run operations with su	用 su 命令
-R SU_USER, --su-user=SU_USER	指定SU的用户，默认是root用户
-U SUDO_USER, --sudo-user=SUDO_USER	sudo到哪个用户，默认为 root
-T TIMEOUT, --timeout=TIMEOUT	指定SSH默认超时时间， 默认是10S
-t TREE, --tree=TREE log output to this directory	将日志内容保存在该输出目录,结果保存在一个文件中在每台主机上。
-u REMOTE_USER, --user=REMOTE_USER	远程用户， 默认是root用户
-v, --verbose verbose mode (-vvv for more, -vvvv to enable	详细信息
--version show program's version number and exit	输出ansible的版本

Ansible配置公私钥

配置ansible使用公钥验证

虽然ansible支持其他主机认证方式，但是我们最常用的的还是基于秘钥的认证：1、首先生成秘钥ssh-keygen -t rsa -P ‘’ 2、然后向主机分发秘钥：ssh-copy-id root@ #@后面跟主机名或者IP地址3、如果出现以下情况：

# ssh-copy-id -i ~/.ssh/id_rsa.pub 10.1.6.72-bash: ssh-copy-id: command not found请尝试：yum -y install openssh-clientsansible

ansible常用模块：

ping模块：用于测试主机能否连通

commond模块：用于在主机上执行单条命令shell模块：可在管理主机上执行一些复杂命令copy模块：大多用于推送配置文件yum模块：批量化安装服务包setup模块：获取管理的主机的配置信息fetch模块：从管理主机上拉取文件user模块：批量创建用户group模块：批量创建组file模块：创建软链接目录什么的script模块：在管理机上运行脚本，在被管理机上执行service服务模块：服务的启动和重载等等cron计划任务模块：添加计划任务

Ansible playbook简介

playbook是ansible用于配置，部署，和管理被控节点的剧本。

通过playbook的详细描述，执行其中的一系列tasks，可以让远端主机达到预期的状态。playbook就像Ansible控制器给被控节点列出的的一系列to-do-list，而被控节点必须要完成。也可以这么理解，playbook 字面意思，即剧本，现实中由演员按照剧本表演，在Ansible中，这次由计算机进行表演，由计算机安装，部署应用，提供对外服务，以及组织计算机处理各种各样的事情

简单的说，就是可以把多条点对点的单条命令集合到一起来实现一整套的操作，比如安装一个服务，推送配置文件到指定目录，再启动服务三个步骤。其中可以调用notify通知机制和tags标签机制，这样就使剧本playbook更加灵活了。

Ansible playbook使用场景

执行一些简单的任务，使用ad-hoc命令可以方便的解决问题，但是有时一个设施过于复杂，需要大量的操作时候，执行的ad-hoc命令是不适合的，这时最好使用playbook。

就像执行shell命令与写shell脚本一样，也可以理解为批处理任务，不过playbook有自己的语法格式。

使用playbook你可以方便的重用这些代码，可以移植到不同的机器上面，像函数一样，最大化的利用代码。在你使用Ansible的过程中，你也会发现，你所处理的大部分操作都是编写playbook。可以把常见的应用都编写成playbook，之后管理服务器会变得十分简单。

Ansible playbook格式

playbook由YMAL语言编写。YAML( /ˈjæməl/ )参考了其他多种语言，包括：XML、C语言、Python、Perl以及电子邮件格式RFC2822，Clark Evans在2001年5月在首次发表了这种语言，另外Ingy döt Net与Oren

Ben-Kiki也是这语言的共同设计者。YMAL格式是类似于JSON的文件格式，便于人理解和阅读，同时便于书写。首先学习了解一下YMAL的格式，对我们后面书写playbook很有帮助。以下为playbook常用到的YMAL格式。

文件的第一行应该以 ”-” (三个连字符)开始，表明YMAL文件的开始。

在同一行中，#之后的内容表示注释，类似于shell，python和ruby。YMAL中的列表元素以”-”开头然后紧跟着一个空格，后面为元素内容。就像这样

• apple
• banana
• orange
  等价于JSON的这种格式 [ “apple”, “banana”, “orange” ]
  同一个列表中的元素应该保持相同的缩进。否则会被当做错误处理。
  play中hosts，variables，roles，tasks等对象的表示方法都是键值中间以”:”分隔表示,”:”后面还要增加一个空格。
  house:
  family: { name: Doe, parents: [John, Jane], children: [Paul, Mark, Simone] }
  address: { number: 34, street: Main Street, city: Nowheretown, zipcode: 12345 }

在mysql.yml中，主要由三个部分组成。

hosts部分：使用hosts指示使用哪个主机或主机组来运行下面的tasks，每个playbook都必须指定hosts，hosts也可以使用通配符格式。主机或主机组在inventory清单中指定，可以使用系统默认的/etc/ansible/hosts，也可以自己编辑，在运行的时候加上-i选项，指定清单的位置即可。在运行清单文件的时候，–list-hosts选项会显示那些主机将会参与执行task的过程中。remote_user：指定远端主机中的哪个用户来登录远端系统，在远端系统执行task的用户，可以任意指定，也可以使用sudo，但是用户必须要有执行相应task的权限。tasks：指定远端主机将要执行的一系列动作。tasks的核心为ansible的模块，前面已经提到模块的用法。tasks包含name和要执行的模块，name是可选的，只是为了便于用户阅读，不过还是建议加上去，模块是必须的，同时也要给予模块相应的参数。

Playbook的核心元素

Hosts：主机

Tasks：任务列表Variables 设置方式有4种Templates：包含了模板语法的文本文件；Handlers：由特定条件触发的任务；

Playbooks配置文件的基础组件：

Hosts：运行指定任务的目标主机；remoute_user: 在远程主机上执行任务的用户；sudo_user：tasks：任务列表模块，模块参数；格式：(1) action: module arguments(2) module: arguments注意：shell和command模块后面直接跟命令，而非key=value类的参数列表；(1) 某任务的状态在运行后为changed时，可通过“notify”通知给相应的handlers；(2) 任务可以通过“tags“打标签，而后可在ansible-playbook命令上使用-t指定进行调用；

Playbook完整配置文件

ansible高级用法--角色定制：roles

对于以上所有的方式有个弊端就是无法实现复用假设在同时部署Web、db、ha 时或不同服务器组合不同的应用就需要写多个yml文件。很难实现灵活的调用。roles 用于层次性、结构化地组织playbook。roles 能够根据层次型结构自动装载变量文件、tasks以及handlers等。要使用

roles只需要在playbook中使用include指令即可。简单来讲，roles就是通过分别将变量(vars)、文件(file)、任务(tasks)、模块(modules)及处理器(handlers)放置于单独的目录中，并可以便捷地include它们的一种机制。角色一般用于基于主机构建服务的场景中，但也可以是用于构建守护进程等场景中。 （大致就是把playbook中的各个配置段分开了存放到/etc/roles下对应的目录下，这样在playbook的配置文件中只要调用角色roles就行了，在一个playbook的配置文件中，可以调用多个roles角色，这样就更加方便灵活了。）

roles目录结构

files/：存储由copy或script等模块调用的文件；

tasks/：此目录中至少应该有一个名为main.yml的文件，用于定义task；

其它的文件需要由main.yml进行“包含”调用；

handlers/：此目录中至少应该有一个名为main.yml的文件，用于定义各handler；其它的文件需要由main.yml进行“包含”调用；

vars/：此目录中至少应该有一个名为main.yml的文件，用于定义各variable；其它的文件需要由main.yml进行“包含”调用；

templates/：存储由template模块调用的模板文本；

meta/：此目录中至少应该有一个名为main.yml的文件，定义当前角色的特殊设定及其依赖关系；其它的文件需要由main.yml进行“包含”调用；

default/：此目录中至少应该有一个名为main.yml的文件，用于设定默认变量；

具体过程：

1、在roles目录下生成对应的目录结构mkdir -pv ./{nginx,mysql,httpd}/{files,templates,vars,tasks,handlers,meta,default}2、定义/tasks/main.yml的配置文件- name: cpcopy: src=nginx-1.10.2-1.el7.ngx.x86_64.rpm dest=/tmp/nginx-1.10.2- 1.el7.ngx.x86_64.rpm- name: installyum: name=/tmp/nginx-1.10.2-1.el7.ngx.x86_64.rpm state=latest - name: conftemplate: src=nginx.conf.j2 dest=/etc/nginx/nginx.conftags: nginxconfnotify: new conf to reload-name: start serviceservice: name=nginx state=started enabled=true（把要推送的包放到files目录下，模板文件放到template目录下）3、修改边变量文件vars/main.yml 添加变量nginx_port: “8888”4、定义handlers文件handlers/main.yml - name: new conf to reloadservice: name=nginx state=restarted5、定义/etc/ansible/nginx.yml的playbook文件- hosts: nginxremote_user: rootroles: - nginx6、可以通过roles传递变量- hosts: nginxremote_user: rootroles: - { role: nginx, nginxport: 12345 }7、也可以配置多个角色roles: # - { role: nginx, nginxport: 12345 } - { role: memcached