1、Python 执行 shell 命令

Python 可以执行 shell 命令的相关 模块 和 函数 有：

• os.system
• os.spawn
• os.popen        ---  废弃
• popen2.*         ---  废弃
• commands.*   ---  废弃，3.x中被移除
• subprocess

os.system

执行 shell 命令，打印的命令执行结果 0 或者 1

os.system('cat /proc/cpuinfo')

subprocess

import subprocess

ret_1 = subprocess.call("ifconfig")
print(ret_1)

# shell 为 False 的时候命令必须分开写
ret_2 = subprocess.call(["ls", "-l"], shell=False)
ret_3 = subprocess.call("ls -l", shell=True)
print(ret_2)
print(ret_3)

示例：

>>> subprocess.getstatusoutput('pwd')
(0, '/home/ronny')

>>> subprocess.getoutput('pwd')
'/home/ronny'

以上执行 shell 命令的相关的 模块 和 函数 的功能均在 subprocess 模块中实现，并提供了更丰富的功能。python 代码：

subprocess 模块中的常用函数

函数	描述
subprocess.run()	Python 3.5中新增的函数。执行指定的命令，等待命令执行完成后返回一个包含执行结果的CompletedProcess类的实例。
subprocess.call()	执行指定的命令，返回命令执行状态，其功能类似于os.system(cmd)。
subprocess.check_call()	Python 2.5中新增的函数。 执行指定的命令，如果执行成功则返回状态码，否则抛出异常。其功能等价于subprocess.run(..., check=True)。
subprocess.check_output()	Python 2.7中新增的的函数。执行指定的命令，如果执行状态码为0则返回命令执行结果，否则抛出异常。
subprocess.getoutput(cmd)	接收字符串格式的命令，执行命令并返回执行结果，其功能类似于os.popen(cmd).read()和commands.getoutput(cmd)。
subprocess.getstatusoutput(cmd)	执行cmd命令，返回一个元组(命令执行状态, 命令执行结果输出)，其功能类似于commands.getstatusoutput()。

参数说明：

• args： 要执行的shell命令，默认应该是一个字符串序列，如['df', '-Th']或('df', '-Th')，也可以是一个字符串，如'df -Th'，但是此时需要把shell参数的值置为True。
• shell： 如果shell为True，那么指定的命令将通过shell执行。如果我们需要访问某些shell的特性，如管道、文件名通配符、环境变量扩展功能，这将是非常有用的。当然，python本身也提供了许多类似shell的特性的实现，如glob、fnmatch、os.walk()、os.path.expandvars()、os.expanduser()和shutil等。
• check： 如果check参数的值是True，且执行命令的进程以非0状态码退出，则会抛出一个CalledProcessError的异常，且该异常对象会包含 参数、退出状态码、以及stdout和stderr(如果它们有被捕获的话)。
• stdout, stderr：input： 该参数是传递给Popen.communicate()，通常该参数的值必须是一个字节序列，如果universal_newlines=True，则其值应该是一个字符串。
  • run()函数默认不会捕获命令执行结果的正常输出和错误输出，如果我们向获取这些内容需要传递subprocess.PIPE，然后可以通过返回的CompletedProcess类实例的stdout和stderr属性或捕获相应的内容；
  • call()和check_call()函数返回的是命令执行的状态码，而不是CompletedProcess类实例，所以对于它们而言，stdout和stderr不适合赋值为subprocess.PIPE；
  • check_output()函数默认就会返回命令执行结果，所以不用设置stdout的值，如果我们希望在结果中捕获错误信息，可以执行stderr=subprocess.STDOUT。
• universal_newlines： 该参数影响的是输入与输出的数据格式，比如它的值默认为False，此时stdout和stderr的输出是字节序列；当该参数的值设置为True时，stdout和stderr的输出是字符串。

subprocess.CompletedProcess 类 

需要说明的是，subprocess.run() 函数是Python3.5中新增的一个高级函数，其返回值是一个subprocess.CompletedPorcess类的实例，因此，subprocess.completedPorcess类也是Python 3.5中才存在的。它表示的是一个已结束进程的状态信息，它所包含的属性如下：

• args： 用于加载该进程的参数，这可能是一个列表或一个字符串
• returncode： 子进程的退出状态码。通常情况下，退出状态码为0则表示进程成功运行了；一个负值-N表示这个子进程被信号N终止了
• stdout： 从子进程捕获的stdout。这通常是一个字节序列，如果run()函数被调用时指定universal_newlines=True，则该属性值是一个字符串。如果run()函数被调用时指定stderr=subprocess.STDOUT，那么stdout和stderr将会被整合到这一个属性中，且stderr将会为None
• stderr： 从子进程捕获的stderr。它的值与stdout一样，是一个字节序列或一个字符串。如果stderr灭有被捕获的话，它的值就为None
• check_returncode()： 如果returncode是一个非0值，则该方法会抛出一个CalledProcessError异常。

subprocess.run()

>>> subprocess.run(["ls", "-l"])  # doesn't capture output
CompletedProcess(args=['ls', '-l'], returncode=0)

>>> subprocess.run("exit 1", shell=True, check=True)
Traceback (most recent call last):
  ...
subprocess.CalledProcessError: Command 'exit 1' returned non-zero exit status 1

>>> subprocess.run(["ls", "-l", "/dev/null"], stdout=subprocess.PIPE)
CompletedProcess(args=['ls', '-l', '/dev/null'], returncode=0,
stdout=b'crw-rw-rw- 1 root root 1, 3 Jan 23 16:23 /dev/null\n')

call、check_call、check_output

• call ：执行命令，返回状态码 ( 命令正常执行返回0，报错则返回1 )
• check_call ：执行命令，如果执行成功则返回状态码0，否则抛异常
• check_output ：执行命令，如果执行成功则返回执行结果，否则抛异常

示例：call

>>> subprocess.call(['ls',  '-l'])
>>> subprocess.call('ls -l', shell=True)

import subprocess

ret_1 = subprocess.call("ifconfig")
print(ret_1)
# shell 为 False 的时候命令必须分开写
ret_2 = subprocess.call(["ls", "-l"], shell=False)
ret_3 = subprocess.call("ls -l", shell=True)
print(ret_2)
print(ret_3)

示例：check_call 

>>> subprocess.check_call(['ls',  '-l'])
>>> subprocess.check_call('ls -l', shell=True)

import subprocess

subprocess.check_call(["ls", "-l"])
subprocess.check_call("exit 1", shell=True)

示例：check_output

import subprocess

ret = subprocess.check_output(['ls',  '-l'])
print(ret)
ret = subprocess.check_output(['ls',  '-l'], universal_newlines=True)
print(ret)

subprocess.check_output(["echo", "Hello World!"])
subprocess.check_output("exit 1", shell=True)

subprocess.getoutput() 与 subprocess.getstatusoutput()

import subprocess

def main():
    output_1 = subprocess.getoutput('ls -l')
    print(output_1)
    ret_code, output_2 = subprocess.getstatusoutput('ls -l')
    print(f'{ret_code} ---> {output_2}')

if __name__ == '__main__':
    main()
    pass

subprocess.Popen(...)

该类用于在一个新的进程中执行一个子程序。上面介绍的函数都是基于subprocess.Popen类实现的，通过使用这些被封装后的高级函数可以很方面的完成一些常见的需求。由于subprocess模块底层的进程创建和管理是由Popen类来处理的，因此，当我们无法通过上面哪些高级函数来实现一些不太常见的功能时就可以通过 subprocess.Popen 类提供的灵活的api来完成。

参数	注释
args	shell命令，可以是字符串或者序列类型（如：list，元组）
bufsize	指定缓冲。0 无缓冲,1 行缓冲,其他 缓冲区大小,负值 系统缓冲
stdin, stdout, stderr	分别表示程序的标准输入、输出、错误句柄
preexec_fn	只在Unix平台下有效，用于指定一个可执行对象（callable object），它将在子进程运行之前被调用
close_sfs	在windows平台下，如果close_fds被设置为True，则新创建的子进程将不会继承父进程的输入、输出、错误管道。所以不能将close_fds设置为True同时重定向子进程的标准输入、输出与错误(stdin, stdout, stderr)。
shell	同上
cwd	用于设置子进程的当前目录
env	用于指定子进程的环境变量。如果env = None，子进程的环境变量将从父进程中继承。
universal_newlines	不同系统的换行符不同，True -> 同意使用 \n
startupinfo	只在windows下有效，将被传递给底层的CreateProcess()函数，用于设置子进程的一些属性，如：主窗口的外观，进程的优先级等等
createionflags	同上

subprocess.Popen的构造函数

class subprocess.Popen(args, bufsize=-1, executable=None, stdin=None, stdout=None, stderr=None, 
    preexec_fn=None, close_fds=True, shell=False, cwd=None, env=None, universal_newlines=False,
    startup_info=None, creationflags=0, restore_signals=True, start_new_session=False, pass_fds=())

参数说明：

• args： 要执行的shell命令，可以是字符串，也可以是命令各个参数组成的序列。当该参数的值是一个字符串时，该命令的解释过程是与平台相关的，因此通常建议将args参数作为一个序列传递。
• bufsize： 指定缓存策略，0表示不缓冲，1表示行缓冲，其他大于1的数字表示缓冲区大小，负数 表示使用系统默认缓冲策略。
• stdin, stdout, stderr： 分别表示程序标准输入、输出、错误句柄。
• preexec_fn： 用于指定一个将在子进程运行之前被调用的可执行对象，只在Unix平台下有效。
• close_fds： 如果该参数的值为True，则除了0,1和2之外的所有文件描述符都将会在子进程执行之前被关闭。
• shell： 该参数用于标识是否使用shell作为要执行的程序，如果shell值为True，则建议将args参数作为一个字符串传递而不要作为一个序列传递。
• cwd： 如果该参数值不是None，则该函数将会在执行这个子进程之前改变当前工作目录。
• env： 用于指定子进程的环境变量，如果env=None，那么子进程的环境变量将从父进程中继承。如果env!=None，它的值必须是一个映射对象。
• universal_newlines： 如果该参数值为True，则该文件对象的stdin，stdout和stderr将会作为文本流被打开，否则他们将会被作为二进制流被打开。
• startupinfo和creationflags： 这两个参数只在Windows下有效，它们将被传递给底层的CreateProcess()函数，用于设置子进程的一些属性，如主窗口的外观，进程优先级等。

subprocess.Popen 类的实例可调用的方法

方法	描述
Popen.poll()	用于检查子进程（命令）是否已经执行结束，没结束返回None，结束后返回状态码。
Popen.wait(timeout=None)	等待子进程结束，并返回状态码；如果在timeout指定的秒数之后进程还没有结束，将会抛出一个TimeoutExpired异常。
Popen.communicate(input=None, timeout=None)	该方法可用来与进程进行交互，比如发送数据到stdin，从stdout和stderr读取数据，直到到达文件末尾。
Popen.send_signal(signal)	发送指定的信号给这个子进程。
Popen.terminate()	停止该子进程。
Popen.kill()	杀死该子进程。

关于communicate()方法的说明：

• 该方法中的可选参数 input 应该是将被发送给子进程的数据，或者如没有数据发送给子进程，该参数应该是None。input参数的数据类型必须是字节串，如果universal_newlines参数值为True，则input参数的数据类型必须是字符串。
• 该方法返回一个元组(stdout_data, stderr_data)，这些数据将会是字节穿或字符串（如果universal_newlines的值为True）。
• 如果在timeout指定的秒数后该进程还没有结束，将会抛出一个TimeoutExpired异常。捕获这个异常，然后重新尝试通信不会丢失任何输出的数据。但是超时之后子进程并没有被杀死，为了合理的清除相应的内容，一个好的应用应该手动杀死这个子进程来结束通信。
• 需要注意的是，这里读取的数据是缓冲在内存中的，所以，如果数据大小非常大或者是无限的，就不应该使用这个方法。

示例代码：

import subprocess

ret1 = subprocess.Popen(["mkdir","t1"])
ret2 = subprocess.Popen("mkdir t2", shell=True)

p = subprocess.Popen('df -Th', stdout=subprocess.PIPE, shell=True)
print(p.stdout.read())

obj = subprocess.Popen(
    ["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, 
    stderr=subprocess.PIPE
)
obj.stdin.write('print(1) \n')
obj.stdin.write('print(2) \n')
obj.stdin.write('print(3) \n')
out, err = obj.communicate()
print(out)
print(err)

obj = subprocess.Popen(
    ["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, 
    stderr=subprocess.PIPE
)
out,err = obj.communicate(input='print(1) \n')
print(out)

# 实现类似df -Th | grep data命令的功能，实际上就是实现shell中管道的共功能。
p1 = subprocess.Popen(['df', '-Th'], stdout=subprocess.PIPE)
p2 = subprocess.Popen(['grep', 'data'], stdin=p1.stdout, stdout=subprocess.PIPE)
out, err = p2.communicate()
print(out)
print(err)

终端输入的命令分为两种：

1. 输入即可得到输出，如：ifconfig
2. 输入进行某环境，依赖再输入，如：python

示例代码：

import subprocess

# 在 参数cwd 所指向的目录/home/dev 下执行命令
obj = subprocess.Popen("mkdir t3", shell=True, cwd='/home/dev')

示例代码：

import subprocess

obj = subprocess.Popen(
    ["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE,
    stderr=subprocess.PIPE, universal_newlines=True
)
obj.stdin.write("print(1)\n")
obj.stdin.write("print(2)")
obj.stdin.close()

cmd_out = obj.stdout.read()
obj.stdout.close()
cmd_error = obj.stderr.read()
obj.stderr.close()

print(cmd_out)
print(cmd_error)

示例代码：

import subprocess

obj = subprocess.Popen(
    ["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE,
    stderr=subprocess.PIPE, universal_newlines=True
)
obj.stdin.write("print(1)\n")
obj.stdin.write("print(2)")
out_error_list = obj.communicate()
print(out_error_list)

示例代码：

import subprocess

obj = subprocess.Popen(
    ["python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE,
    stderr=subprocess.PIPE, universal_newlines=True
)
out_error_list = obj.communicate('print("hello")')
print(out_error_list)

2、paramiko

使用 paramiko，可以 ssh 连接到远程主机，并在远程主机上执行 shell 命令

paramiko是一个用于做远程控制的模块，使用该模块可以对远程服务器进行命令或文件操作，

值得一说的是，fabric 和 ansible 内部的远程管理就是使用的paramiko来现实。

《Python自动化运维技术与最佳实践》

下载安装

由于 paramiko 模块内部依赖pycrypto，所以先下载安装pycrypto

pip3 install pycrypto
pip3 install paramiko

使用示例：

import paramiko

if __name__ == '__main__':

    ip = '172.28.11.132' 
    port = 22           
    user_name = "root"  
    user_password = r'123456' 
    ssh = paramiko.SSHClient()
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

    ssh.connect(ip, port, user_name, user_password)
    cmd = 'ls /'
    stdin, stdout, stderr = ssh.exec_command(cmd)
    print stdout.readlines()

模块使用

执行命令，用户名+密码

#!/usr/bin/env python3
#执行命令,用户名+密码

import paramiko

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('192.168.101.2', 22, "root", '111111')
stdin, stdout, stderr = ssh.exec_command('df')

print(stdout.read())
ssh.close()

执行命令：python3 paramiko_test01.py 

执行命令，密钥

#!/usr/bin/env python3
#执行命令，密钥

import paramiko
private_key_path = '/home/auto/.ssh/id_rsa'
key = paramiko.RSAKey.from_private_key_file(private_key_path)

ssh = paramiko.SSHClient()
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh.connect('192.168.101.2', 22, 'root', '111111')

stdin, stdout, stderr = ssh.exec_command('df')
print(stdout.read())
ssh.close()

上传或下载文件，用户名+密码

#!/sur/bin/env python3
#上传或下载文件，用户名+密码

import paramiko
import os,sys

t = paramiko.Transport(('192.168.101.2', 22))
t.connect(username='root',password='111111')
sftp = paramiko.SFTPClient.from_transport(t)
sftp.put('/tmp/test.py','/tmp/test.py') #第一个参数是本地上传的文件，第二个参数>时上传后目标机器保存的文件
t.close()

下载或上传文件，密钥

#!/usr/bin/env python3
#下载或上传文件，密钥

import paramiko
pravie_key_path = '/home/auto/.ssh/id_rsa'
key = paramiko.RSAKey.from+private_key_file(pravie_key_path)

t = paramiko.Transport(('192.168.101.2', 22))
t.connect(username='root',pkey=key)

sftp = paramiko.SFTPClient.from_transport(t)
sftp.put('/tmp/test2.py', '/tmp/test2.py')

t.close()

基于用户名和密码的 ssh client 方式登录

import paramiko

ssh = paramiko.SSHClient()
# 允许连接不在know_hosts文件中的主机
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

# 建立连接
ssh.connect("xx.xx.xx.xx", username="root", port=22, password="you_password")

# 使用这个连接执行命令
ssh_stdin, ssh_stdout, ssh_stderr = ssh.exec_command("ls -l")

# 获取输出
print(ssh_stdout.read())

# 关闭连接
ssh.close()

基于用户名和密码的 transport 方式登录

有时候需要登录上服务器执行多个操作，比如执行命令、上传/下载文件，方法1 则无法实现，那就可以使用 transport 的方法。

import paramiko

# 建立连接
trans = paramiko.Transport(("xx.xx.xx.xx", 22))
trans.connect(username="root", password="you_passwd")

# 将sshclient的对象的transport指定为以上的trans
ssh = paramiko.SSHClient()
ssh._transport = trans

# 剩下的就和上面一样了
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
ssh_stdin, ssh_stdout, ssh_stderr = ssh.exec_command("ls -l")
print(ssh_stdout.read())

# 关闭连接
trans.close()

基于公钥密钥的 SSHClient 方式登录

import paramiko

# 指定本地的RSA私钥文件
# 如果建立密钥对时设置的有密码，password为设定的密码，如无不用指定password参数
pkey = paramiko.RSAKey.from_private_key_file('/home/you_username/.ssh/id_rsa', password='12345')

# 建立连接
ssh = paramiko.SSHClient()
ssh.connect(hostname='xx.xx.xx.xx',
            port=22,
            username='you_username',
            pkey=pkey)

# 执行命令
stdin, stdout, stderr = ssh.exec_command('ls -l')

# 结果放到stdout中，如果有错误将放到stderr中
print(stdout.read())

# 关闭连接
ssh.close()

基于密钥的 Transport 方式登录

import paramiko

# 指定本地的RSA私钥文件
# 如果建立密钥对时设置的有密码，password为设定的密码，如无不用指定password参数
pkey = paramiko.RSAKey.from_private_key_file('/home/you_username/.ssh/id_rsa', password='12345')

# 建立连接
trans = paramiko.Transport(('xx.xx.xx.xx', 22))
trans.connect(username='you_username', pkey=pkey)

# 将sshclient的对象的transport指定为以上的trans
ssh = paramiko.SSHClient()
ssh._transport = trans

# 执行命令，和传统方法一样
stdin, stdout, stderr = ssh.exec_command('df -hl')
print(stdout.read().decode())

# 关闭连接
trans.close()

以上四种方法，可以帮助你实现远程登陆服务器执行命令，如果需要复用连接：一次连接执行多次命令，可以使用 方法二 和 方法四，用完后，记得关闭连接。

实现 sftp 文件传输

同时，paramiko 做为 ssh 的完美解决方案，它非常专业，利用它还可以实现 sftp 文件传输。

import paramiko

# 实例化一个trans对象# 实例化一个transport对象
trans = paramiko.Transport(('xx.xx.xx.xx', 22))

# 建立连接
trans.connect(username='you_username', password='you_passwd')

# 实例化一个 sftp对象,指定连接的通道
sftp = paramiko.SFTPClient.from_transport(trans)

# 发送文件
sftp.put(localpath='/tmp/11.txt', remotepath='/tmp/22.txt')

# 下载文件
sftp.get(remotepath='/tmp/22.txt', localpath='/tmp/33.txt')
trans.close()

使用 paramiko 的时候，有一点需要注意：如果不需要等待它返回数据，可以直接实现异步效果，对于不知道这个的人确实是个容易掉坑的点。就是在执行 ssh.exec_command(cmd) 时，这个命令并不是同步阻塞的。

发现 脚本立马就结束退出了，并不会等待 5 s 后，再 执行 ssh.close()

import paramiko

trans = paramiko.Transport(("172.20.42.1", 57891))
trans.connect(username="root", password="youpassword")
ssh = paramiko.SSHClient()
ssh._transport = trans
stdin, stdout, stderr = ssh.exec_command("sleep 5;echo ok")
ssh.close()

但是如果加上一行 stdout.read()， paramiko，就会在 read() 进行阻塞。

import paramiko

trans = paramiko.Transport(("172.20.42.1", 57891))
trans.connect(username="root", password="youpassword")
ssh = paramiko.SSHClient()
ssh._transport = trans
stdin, stdout, stderr = ssh.exec_command("sleep 5;echo ok")

# 加上一行 read()
print(stdout.read())
ssh.close()