import subprocess
# 셸 명령어를 실행하여 'ls -l | grep ".txt"' 결과를 출력
result = subprocess.run('ls -l | grep ".txt"', shell=True, capture_output=True, text=True)
print(result.stdout)-rw-r--r-- 1 runner docker 4292 Jan 5 12:06 output.txt
Python shell명령 수행하기 (Subprocess)
Python shell명령 수행하기 (Subprocess)
Python
Python shell명령 수행하기 (Subprocess)
Python의 subprocess 모듈은 파이썬 코드 내에서 외부 셸 명령을 실행할 수 있는 강력한 도구입니다. 이 모듈은 간단한 명령 실행부터 복잡한 상호작용이 필요한 명령어까지 다양한 작업을 수행할 수 있습니다.
1. subprocess 모듈 소개
subprocess 모듈은 Python 3에서 외부 명령을 실행하기 위해 사용되는 표준 라이브러리입니다. 이 모듈을 사용하면 파이썬 코드 내에서 셸 명령어를 실행하고, 그 결과를 가져와 처리할 수 있습니다. os.system()와 같은 이전 방식에 비해 더 강력하고 유연한 기능을 제공합니다.
1.1 기본적인 명령 실행
가장 간단한 형태로, subprocess.run() 함수를 사용하여 명령어를 실행할 수 있습니다. 이 함수는 명령어를 실행한 후, subprocess.CompletedProcess 객체를 반환합니다.
예제: 기본 명령어 실행
import subprocess
# 'ls' 명령어를 실행하고 결과를 화면에 출력
result = subprocess.run(['ls', './images'], capture_output=True, text=True)
print(f"stdout: {result.stdout}")stdout: paste-1.png위 코드에서는 ls 명령어를 실행하여 현재 디렉토리의 파일 목록을 출력합니다. capture_output=True는 표준 출력(stdout)과 표준 에러(stderr)를 캡처하도록 설정하며, text=True는 출력을 텍스트로 반환하도록 합니다.
1.2. subprocess모듈에서는 cd명령을 사용할 수 없습니다.
subprocess는 새로운 프로세스를 생성하여 시스템 명령어나 외부 프로그램을 실행하는 데 사용됩니다. 시스템 명령어는 일반적으로 실행 파일로 존재하는 명령어입니다.
반면, cd는 단순한 실행 파일이 아니고, 셸 자체의 상태를 변경하는 명령이기 때문에 시스템에서 독립적으로 실행할 수 없습니다.
따라서 cd 명령어를 subprocess를 통해 실행하더라도, 작업 디렉토리를 변경하려는 시도가 성공하지 않습니다.
Note
작업 디렉토리를 변경하려면 os 모듈의 os라이브러리의 os.chdir() 함수를 사용해야 합니다.
2. subprocess로 복잡한 명령어 실행
2.1. 셸에서 명령어 실행
때로는 명령어를 셸에서 실행해야 할 필요가 있습니다. subprocess.run()에서 shell=True 옵션을 사용하면 명령어를 셸에서 실행할 수 있습니다.
예제: 셸에서 파이프라인 명령어 실행
이 예제에서는 ls -l 명령어의 결과를 grep 명령어로 필터링하여 .txt 파일만 출력합니다. shell=True를 사용하여 복잡한 셸 명령어를 실행할 수 있습니다.
2.2. 명령어의 출력 처리
명령어의 결과를 변수에 저장하고, 이를 파이썬 코드에서 처리할 수 있습니다. subprocess.run()의 capture_output=True 옵션을 사용하면 명령어의 표준 출력과 표준 에러를 캡처할 수 있습니다.
예제: 출력 결과를 파일로 저장
import subprocess
# 'ls' 명령어 실행 결과를 파일에 저장
with open('output.txt', 'w') as f:
subprocess.run(['ls'], stdout=f)이 예제에서는 ls 명령어의 출력을 output.txt 파일에 저장합니다. stdout 매개변수를 파일 객체 f로 지정하여 출력을 파일에 기록할 수 있습니다.
3. 명령어 실행 결과의 처리
subprocess.run()이 반환하는 subprocess.CompletedProcess 객체를 통해 명령어의 반환 코드, 표준 출력, 표준 에러 등을 확인할 수 있습니다.
3.1. 반환 코드 확인
명령어 실행이 성공했는지 여부를 확인하기 위해 반환 코드를 확인할 수 있습니다. 반환 코드가 0이면 성공, 0이 아니면 실패를 의미합니다.
예제: 반환 코드 확인
import subprocess
result = subprocess.run(['ls', 'non_existing_file'], capture_output=True, text=True)
print(f"Return code: {result.returncode}")
if result.returncode != 0:
print("Command failed")Return code: 2
Command failed위 코드에서는 존재하지 않는 파일을 조회하려고 시도하여, 명령어가 실패했음을 확인할 수 있습니다.
3.2. 명령어 실패 시 에러 확인
# 'ls' 명령어를 실행하고 결과를 화면에 출력
result = subprocess.run(['ls', './없는폴더명'], capture_output=True, text=True)
print(f"stdout: {result.stdout}")
print(f"stderr: {result.stderr}")stdout:
stderr: ls: cannot access './없는폴더명': No such file or directory
위의 코드에서는 존재하지 않는 폴더에 대해서 ls명령을 수행해서 error가 발생했습니다. 에러는 result.stderr로 정보가 전달됩니다.
4. 파이프라인 명령어 실행
파이프라인 명령어를 구현하려면 subprocess.PIPE를 사용하여 여러 명령어의 출력을 다음 명령어의 입력으로 전달할 수 있습니다.
예제: 두 명령어를 파이프라인으로 연결
import subprocess
# 'ls -l' 명령어를 실행하고, 그 출력을 'grep ".txt"'에 전달
p1 = subprocess.Popen(['ls', '-l'], stdout=subprocess.PIPE)
p2 = subprocess.Popen(['grep', '.txt'], stdin=p1.stdout, stdout=subprocess.PIPE)
p1.stdout.close() # 첫 번째 프로세스의 출력을 닫음
output, error = p2.communicate()
print(output.decode())-rw-r--r-- 1 runner docker 4044 Jan 5 12:23 output.txt
이 예제에서는 ls -l 명령어의 결과를 grep 명령어로 필터링하여 .py 파일만 출력합니다. subprocess.Popen을 사용하여 프로세스를 생성하고, 파이프를 통해 데이터를 전달합니다.
p1 = subprocess.Popen(\['ls', '-l'\], stdout=subprocess.PIPE):p1의stdout=subprocess.PIPE는 ls -l 명령어의 출력을 파이프로 보내도록 설정합니다p2 = subprocess.Popen(\['grep', '.txt'\], stdin=p1.stdout, stdout=subprocess.PIPE): 이 파이프는p2프로세스로 전달되며stdin=p1.stdout은 첫 번째 프로세스(ls -l)의 출력을 grep 명령어의 입력으로 사용하도록 설정합니다.p1.stdout.close(): 첫 번째 프로세스(p1)의 출력 스트림을 닫습니다. 이는 grep 명령어가 첫 번째 프로세스의 출력을 다 받았음을 알려주기 위함입니다. 이렇게 해야 grep 명령어가 더 이상 입력을 기다리지 않고 종료할 수 있습니다.
-output, error = p2.communicate(): communicate() 메서드는 프로세스가 끝날 때까지 기다린 후, 출력과 에러를 한꺼번에 수집하는 데 사용됩니다. 프로세스의 출력(stdout)과 에러(stderr)는 각각 output과 error에 저장됩니다.
5. 비동기 명령어 실행
비동기적으로 명령어를 실행해야 할 때는 subprocess.Popen을 사용합니다. 이 방법을 사용하면 명령어 실행 중에도 다른 작업을 수행할 수 있습니다.
예제: 비동기 명령어 실행
import subprocess
# 'sleep 5' 명령어를 비동기적으로 실행
process = subprocess.Popen(['sleep', '5'])
# 다른 작업을 수행
print("Waiting for the command to complete...")
# 명령어가 완료될 때까지 기다림
process.wait()
print("Command completed after 5 secs")Waiting for the command to complete...
Command completed after 5 secs이 코드는 sleep 5 명령어를 실행한 후, 명령어 실행이 완료될 때까지 기다리지 않고 다른 작업을 수행합니다.