들어가며

워크스테이션 성능은 괴물같은데 할 일 없이 놀고만 있다.
병렬처리로 빡세게 굴려보자.
이놈들.
(하지만 내 코드가 멀티코어 사용으로는 해결되지 않을 종류일 수 있다.)

템플릿

라이브러리 불러오기

1
2
3

# 라이브러리 불러오기

library(foreach)
library(doParallel)

foreach를 불러오지 않고 foreach::foreach를 수행하면
%dopar% 함수를 찾을 수 없습니다 에러가 발생한다.

클러스터 셋업: 파티 모집

게임에서 레이드 뛸 파티를 구성하는 작업이라고 보면 된다. (= 일 할 코어 구성)

1
2

# 코어 숫자 설정

n.cores <- parallel::detectCores() - 1

몇 명 모집할 것인지 정한다. parallel::detectCores()는 가용 최대 코어 수를 알려준다.
마우스 움직이는 등은 기본 작업을 해야 하니 1개 빼준다.

1
2
3

# 클러스터 초기화

slave.cluster <- parallel::makeCluster(n.cores)
doParallel::registerDoParallel(slave.cluster)

parallel::makeCluster(파티크기)로 파티(클러스터)를 만들고,
doParallel::registerDoParallel(파티이름)으로 등록하자(왜 등록이 필요할까).

정확한 기능은 매뉴얼을 참고하자.

변수 할당: 아이템 점검

레이드 뛰기 전에 장비 내구도, 소모품 등 점검해야 한다.
본격적인 병렬처리 수행 전에는 필요한 변수를 가져와야 한다.
foreach 외부에서 정의한 변수는 foreach 내부에서 사용하지 못 한다고 한다(참고).

1
2
3

# 클러스터에 전역 변수 추가

parallel::clusterExport(slave.cluster,
                        varlist = c("add", "variables", ...))

필요한 라이브러리는 foreach 수행하면서 읽어들일 수 있다.

병렬처리: 레이드

1
2
3
4
5
6
7

# 병렬처리 수행

foreach::foreach(i = 1:18,
                 .combine = rbind,
                 .packages = c("dplyr"),
                 .inorder = TRUE) %dopar% {
                   "수행할 코드"
                 }

기본적인 for 구문과 비슷한 구조를 가진다.

• 카운터와 범위 설정한다.
• .combine: foreach에서는 여러 코어가 독립적으로 코드를 수행한다.
  .combine을 이용해 각자 결과를 취합하는 방식을 결정한다.
  • list: 기본값. 리스트 형태로 이어 붙인다.
  • c: 벡터 형태로 이어 붙인다.
  • rbind: 세로로 이어 붙여 데이터프레임을 만든다.
  • cbind: 가로로 이어 붙여 데이터프레임을 만든다.
  • 등등
• `.packages”: 필요한 패키지를 챙겨간다.
• .inorder: 취합할 때 원래 순서(i=1, 2, 3, …)를 유지하고 싶다면 TRUE를 선택한다(기본값).
• %dopar%: 문법 요소라고 이해하면 된다. %do%를 사용하면 단일코어를 사용하는 것과 같다(= for 구문).

클러스터 해제: 해산

보상을 챙긴 후에는 쿨하게 해산한다.

1
2

# 클러스터 해제

parallel::stopCluster(slave.cluster)

전체 코드

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 라이브러리 불러오기

library(foreach)
library(doParallel)

# 코어 숫자 설정

n.cores <- parallel::detectCores() - 1

# 클러스터 초기화

slave.cluster <- parallel::makeCluster(n.cores)
doParallel::registerDoParallel(slave.cluster)

# 클러스터에 전역 변수 추가

parallel::clusterExport(slave.cluster,
                        varlist = c("add", "variables", ...))

# 병렬처리 수행

foreach::foreach(i = 1:18,
                 .combine = rbind,
                 .packages = c("dplyr"),
                 .inorder = TRUE) %dopar% {
                   "수행할 코드"
                 }

# 클러스터 해제

parallel::stopCluster(slave.cluster)

생각해볼 것들

각 반복 작업은 서로 독립적이어야 한다?

foreach는 반복문이 해야 할 작업을 여러 코어에 나눠서 빠르게 수행한 후 각 결과를 취합하는 방식으로 작동한다.
때문에, 반복 작업 간에 간섭이 없어야 원하는 결과를 얻을 수 있을 것 같다.
예를 들어, i=1일때의 결과가 i=2일때 작업에 사용돼야 하는데,
두 작업을 서로 다른 코어가 수행하고 있다면 원하는 결과가 나오지 않을 수 있을 것 같다.
병렬처리에서
작업이 여러 코어에 어떻게 분배되는지,
코어 간에 결과 공유가 가능한지,
여러 코어가 한 작업을 함께 맡을 수 있는지,
작업 내용에 맞춰서 알아서 스마트하게 분배되는지…와 같은 원리를 알면 더 이해하기 수월할 것 같다.

중첩 반복문 구조인 경우?

내가 처음 병렬처리를 수행한 코드는 대략 아래와 같다.

for(i in 1:csv파일개수){
  csv 읽어서 가공
  
  # 병목 구간 1
  for(s in 1:관측지점수){
    
  }
  
  # 병목 구간 2
  for(s in 1:관측지점수){
    
  }
  
  결과 취합 및 가공
  
  결과 저장
}

csv파일 하나하나마다 일련의 작업 수행 후 결과를 저장하는 작업을 반복하는 코드다.
대부분 수행시간은 내부 반복문이 차지한다.
각 csv 크기는 300MB~2000MB 정도로 비대하고(중앙값 1000MB 정도), 총 99개다.
내 워크스테이션의 CPU 코어는 32개이고 램도 256GB로 충분하다.

단일코어를 사용할 때 1500MB 파일 처리하는 데 30분 정도 걸렸다고 생각하면…
병렬처리해서 31코어로 돌리면 31배까지는 아니더라도 금방 끝나겠거니 생각했지만, 오히려 더 오래 걸렸다.

왜 더 오래 걸렸을까?: 무작정 foreach()로 감싸지 말기!

아래는 내가 처음 시도했던 코드다.

foreach(){

for(i in 1:csv파일개수){
  csv 읽어서 가공
  
  # 병목 구간 1
  for(s in 1:관측지점수){
    
  }
  
  # 병목 구간 2
  for(s in 1:관측지점수){
    
  }
  
  결과 취합 및 가공
  
  결과 저장
}


}

첫 번째 for()를 foreach()로 바꿨어야 헀는데 foreach()에 기존 코드를 통째로 넣어버렸다.
반복문을 하나 더 씌웠으니 엄청 느려진 것이다.

어떤 반복문을 병렬처리할지 선택해야 한다.

아무튼, foreach에는 중첩 반복문을 처리하는 기능이 있다.

1
2
3
4

foreach(b=bvec, .combine='cbind') %:%
  foreach(a=avec, .combine='c') %dopar% {
    sim(a, b)
  }

위와 같이 사용한다.

• %:%: nesting operator. foreach를 겹겹이 사용할 때,
  바깥의 foreach에서 %dopar%, %do% 대신 써준다.

참고자료 및 읽을거리

• R에서 병렬처리 하기
• R nested foreach %dopar% in outer loop and %do% in inner loop
• Quick Intro to Parallel Computing in R
• Nesting foreach loops
• Parallel R