[Programming] Python's GIL

Python의 GIL

• Global Interpreter Lock
• 여러 개의 쓰레드가 파이썬 바이트코드를 한번에 하나만 사용할 수 있게 락을 거는 것
  • 파이썬 인터프리터는 소스를 바이트코드로 변환하고, 이를 해석해서 실행
  • 여러 쓰레드가 실행 중일지라도 GIL은 각 쓰레드가 순차적으로만 바이트코드를 실행하게 함
  • 즉, 하나의 쓰레드만 인터프리터를 제어할 수 있도록 하는 뮤텍스
• 멀티 쓰레드 프로그램에서 멀티 쓰레드가 싱글 쓰레드처럼 동작해 병목을 유발함

GIL의 설계 의도

초기 메모리 관리 방식

• 파이썬 구현체인 CPython은 참조 카운팅(Reference Counting)을 사용해 메모리를 관리
  • 객체가 사용될 때마다 참조 횟수를 기록하고, 참조가 0이 되면 메모리에서 해당 객체를 해제하는 자동 메모리 관리 매커니즘
• 참조 카운팅을 사용하는 프로그램에서 여러 개의 쓰레드가 동시에 객체를 참조하거나 해제할 때, 참조 카운트 값을 정확하게 유지하기 위해서는 동기화가 필요함
• 다수의 쓰레드가 동일한 객체를 참조하거나 참조 해제 작업을 동시에 수행한다면 데이터 경쟁(Race Condition)이 발생할 수 있어 참조 카운트가 어그러지면서 메모리 누수나 예기치 않은 동작을 초래할 수 있음

Multi-threading과의 충돌 해결

• 멀티쓰레딩을 지원하기 위해서는 각 쓰레드가 객체의 참조 카운트를 안전하게 관리할 수 있어야 함
• 이를 해결하기 위해 세밀한 잠금(Fine-grained Locking)을 적용해 각 객체마다 락을 걸어 쓰레드들이 안전하게 참조 카운트를 관리하도록 하는 것
  • 복잡도가 증가, 성능 저하 가능성 있음
• 따라서 파이썬 설계자는 글로벌 수준에서 하나의 잠금을 사용해 한 번에 하나의 쓰레드만이 바이트 코드를 실행하게 하자는 아이디어를 도입
• GIL이 탄생했고, 참조 카운트의 동기화 문제와 구현 복잡도를 낮추는 데 기여함

작업에 있어 GIL의 영향

I/O Bound 작업에서는 큰 영향이 없다

• GIL은 I/O 작업 (파일 읽기/쓰기, 네트워크 요청 등) 중에는 해제되므로, 여러 쓰레드가 동시에 I/O 작업을 수행할 때는 GIL의 영향이 적음
• 따라서 I/O Bound 프로그램에서는 멀티 쓰레딩이 성능을 크게 향상시킬 수 있음
• 예시
  • 네트워크 요청, 파일 입출력 등을 병렬로 처리할 때, 각 쓰레드가 I/O 작업을 수행하는 동안 GIL을 해제하므로 다른 쓰레드가 실행될 수 있음

CPU Bound 작업에서는 성능 저하가 일어나는데…

• GIL은 CPU Bound 작업(계산량이 많은 작업)에서 병목을 유발할 수 있음
• 여러 쓰레드가 동시에 실행되어도 GIL 때문에 실제로 한 번에 하나의 쓰레드만 CPU에서 실행되기 때문에 멀티쓰레딩의 장점이 없어짐
• 즉, 멀티쓰레딩을 사용하더라도 CPU Bound 작업에서는 큰 성능 향상을 기대하기 힘듬
• 예시
  • 큰 데이터를 계산하거나 복잡한 알고리즘을 병렬로 처리하는 경우

GIL을 극복하려면

Multi-processing

• 파이썬의 multiprocessing 모듈을 사용하면 GIL의 영향을 받지 않고 여러 프로세스를 동시에 실행 가능
• 프로세스 간에는 GIL이 공유되지 않기 때문에 멀티코어 CPU에서 병렬 처리 가능

C 확장 모듈

• NumPy와 같이 C로 작성된 라이브러리나 확장 모듈은 GIL의 영향을 받지 않고 병렬 처리 가능

GIL을 제거하려는 논의와 움직임

• GIL은 명백히 현대 애플리케이션 환경에는 성능 면에서 적합하지 않음
• 그로 인해 이를 제거하려는 움직임이 최근 몇 년간 활발하게 이뤄졌음
• 현재 2024년 10월 기준 GIL이 완전히 제거되진 않았지만, 3.12 버전부터 GIL 제거를 위한 구체적인 변화가 시도되고 있음

주요 변화와 진행 상황

Python 3.9 및 그 이전

• 이 시기까지 GIL은 유지되었으며 멀티쓰레딩 성능이 제한적이었음
• GIL을 제거하려는 몇 가지 연구와 패치가 있었으나, 파이썬의 메모리 모델과 호환성 문제로 실제 배포되지는 않았음

Python 3.10 ~ 11

• GIL 제거에 대한 논의가 활발해졌고 파이썬 아빠 Guido Van Rossum이 GIL 제거 연구에 참여
• 프로토타입과 실험적인 구현이 제시됨

Python 3.12 (2023년 발표)

• 드디어 GIL 제거를 위한 초기 작업이 포함됨!
• 완전한 GIL 제거는 아니지만 병렬 처리 성능을 개선하고 멀티 쓰레드 작업의 잠재적 성능 향상을 위한 준비가 포함됨
• 구체적으로는 sub-interpreter 개선 작업이 이뤄짐
  • 각 서브 인터프리터가 독립적으로 GIL을 사용할 수 있도록 하는 방향으로 설계되어 GIL의 영향을 줄이고자 함

Python 3.13 (2024년 10월 출시)

• PEP 703 기반 GIL을 비활성화한 Free-threaded 모드가 추가됨!
• 기본으로 설정되는 건 아니지만, 특정 플래그를 포함하여 실행시 Free-threaded 모드로 실행 가능
• 여전히 실험적인 단계이긴 함

이후…

• 완전한 GIL 제거가 목표라고 함