Best Practice

본 연구에서는 원형 CFST 기둥을 대상으로 예측모델을 개발하였으며 총 1,730개의 데이터가 사용되었다. 본 데이터는 Goode^[20]와 Denavit^[21]의 연구에서 발췌하였으며 해당 연구 또한 타 연구자들의 실험결과를 집대성한 모음이다. 이를 중심축에 하중을 받는 Dataset 1과 편심하중을 받는 Dataset 2로 나누었으며 각각의 개수는 Table 1에서 확인할 수 있다.

Dataset 1의 short column과 slender column은 각각 L/D ≤ 4와 L/D > 4의 경우를 의미하며 L과 D는 각각 시험편 높이와 원형 강관 단면의 바깥지름을 뜻한다(Fig. 1). Fig. 2에서는 Dataset 1의 L/D 분포를 나타내고 있다. L/D ≤ 4인 경우의 short column은 모두 659개의 데이터수를 가지고 있으며 나머지 L/D > 4 경우인 slender column의 분포는 4초괏값부터 50까지 다양하게 분포되어있다.

Fig. 1. 
Circular CFST column

Fig. 2. 
Histogram of L/D from Dataset 1

Dataset 2는 편심하중으로 인하여 보-기둥(beam-column) 거동을 하는 데이터로 구성되었으며 Fig. 1의 그림에서 중심축으로부터 편심하중의 거리에 해당하는 변수 e가 입력값에 추가된다. Table 2는 각 변수에 대한 최초, 최대, 평균, 표준편차를 나타내고 있으며 각 변수의 분포는 다음 절에서 상세히 서술한다.

Fig. 3와 Fig. 4는 각각 Dataset 1과 Dataset 2 변수들의 바이올린 플롯(violin plot)을 나타내고 있다. 바이올린 플롯을 통해 각 입력변수들의 분포, 데이터의 확률밀도 등을 알아볼 수 있다.

Fig. 3. 
Violin plots showing the distribution of Dataset 1

Fig. 4. 
Violin plots showing the distribution of Dataset 2

Dataset 1은 원형강관의 바깥 지름(D)과 두께(t), 시험편의 높이(L), 강재의 항복강도(F_y), 콘크리트의 압축강도(f_c′), 직경-두께비(D/t)인 총 6개의 입력변수를 가지며 CFST 기둥의 공칭강도(N)를 결괏값으로 도출한다. Dataset 2는 이에 더하여 편심하중의 중심축으로부터의 거리(e)와 편심하중거리-직경비(e/D)를 추가하며 총 8개의 입력변수를 갖는다. 각각의 바이올린 플롯 내부의 검정 선으로부터 중앙값(median), 제1사분위(first quartile, Q1)와 제3사분위(third quartile, Q3)값을 확인할 수 있다. 모든 데이터가 실험을 통해 얻어졌고 여러 연구자들의 결과를 종합한 것이므로 그 분포가 일률적이지 않거나 중앙값을 훨씬 벗어나는 값을 보이는 경우가 있다.

Fig. 5와 Fig. 6는 각각 Dataset 1과 Dataset 2의 입력변수와 출력변수(N) 사이의 상관계수행렬(correlation matrix)을 나타내고 있다. 각 그림의 수치, 상관계수(correlation coefficient)는 두 변수 간의 연관된 정도를 나타낼 뿐 인과관계를 설명하는 것은 아니지만 두 변수 간의 인과관계는 회귀모델(regression model)을 통해 그 정도와 방향을 알아볼 수 있다. Fig. 5에서 Dataset 1의 경우를 살펴보면 강관의 바깥지름과 두께에서 큰 상관 정도를 보이고 있다. 이에 더하여 Dataset 2의 보-기둥 구조는 콘크리트의 압축강도가 세 번째로 큰 상관관계를 보이고 있다. 이는 단순히 각각의 변수들과 출력변수 간의 상관 정도를 나타내는 것이므로 제안되는 예측모델을 통해 인과관계를 분석하고자 한다.

Fig. 5. 
Correlation matrix heat-map of the features in Dataset 1

Fig. 6. 
Correlation matrix heat-map of the features in Dataset 2

원형 CFST 기둥 데이터를 위한 메타모델을 구축하기 위해 수퍼 러너 기법을 선택하였다. Van der Laan et al.^[22]에 의해 제안된 본 기법은 후보 모델군에서 최적의 학습모델을 선택하며 이때 교차검증(cross validation) 기법을 사용하여 우열을 가린다. 수퍼 러너는 앙상블 학습 기법 내에서도 적층(stacking) 기법에 해당하며 다양한 모델을 선택 및 융합하여 예측율을 높이는 방법을 취한다. 본 연구에서는 앙상블 학습 기법 중 랜덤 포레스트(RFR: random forest regression)^[23], AdaBoost(Adaptive Boosting)^[24], GBM(Gradient Boosting Machine)^[25], XGBoost(eXtreme Gradient Boosting)^[26], LightGBM(Light Gradient Boosting Machine)^[27], CatBoost​(Categorical Gradient Boosting)^[28] 총 6가지 기법을 사용하였으며 예측률 상위 3개로 구성된 수퍼 러너 모델과 모든 앙상블 기법을 사용한 수퍼 러너 모델을 구성하여 비교하여 분석하였다.

랜덤 포레스트는 훈련 과정에서 구성한 다수의 결정 트리(tree)로부터 평균 예측치를 얻어 최적의 학습 기법을 도출하는 것이며 AdaBoost는 이에 발전하여 약한 학습기들을 수정할 수 있는 가중치 기법을 적용한 것이다. GBM은 앙상블 알고리즘 중 약한 학습기를 결합하여 강한 학습기를 만드는 부스팅(boosting) 기법의 기본 형태이며 XGBoost는 이에 더하여 병렬 학습을 통해 더욱 빠르게 연산할 수 있도록 개선된 기법이다. LightGBM은 모든 결정 트리를 균형적으로 발전시키지 않고 최대 손실값을 가지는 트리의 노드(node)를 반복분할하면서 예측 오류 손실을 최소화하는 기법이다. 기존의 부스팅 기법이 일관적으로 모든 훈련 데이터를 대상으로 잔차(residual)를 계산하는 반면 CatBoost는 훈련에 사용하는 데이터의 비율을 점차 증가시킴으로써 기존의 부스팅 기법이 갖고 있던 느린 학습 속도와 과적합(over-fitting) 문제를 개선할 수 있다.

n개의 대상 데이터 O_i = (X_i, Y_i)에 대하여 실제값과 예측값 ψ(X)을 비교하는 손실(loss) E[L(O,ψ)]을 최소화하는 회귀 문제는 다음과 같이 구성할 수 있다.

k개의 교차검증 모듈을 갖는 테스트 데이터와 검증 데이터를 각각 T(υ) (υ = 1, 2, 3, … , k)와 V(υ) (υ = 1, 2, 3, … , k)라고 할 때 J개의 학습모델의 구성 Ψ^jj=1,2,3,…,J은 다음과 같이 표현된다.

본 연구에서는 총 6개의 학습모델이 사용되었으며 예측률 상위 3개로 구성된 수퍼 러너 모델도 추가로 구성하였다. 모든 앙상블 기법은 적층(stacked)되는 형식으로 수퍼 러너 안에 구성되며 각각의 학습모델로부터 얻은 예측값은 행렬식 Z=Ψ^j,TυVυ로 구성되며 예측률에 따라 가중벡터 α를 곱하여 수정된 조합은 아래와 같이 구성된다.

실제값 Y와 예측값 사이의 손실이 최소가 되는 최적의 가중벡터 a^를 얻은 후 최종적으로 아래와 같은 수퍼 러너 모델을 얻을 수 있다.

Dataset 1과 Dataset 2의 값을 최적의 모델로 구성된 수퍼 러너 모델에 대입하여 효율성을 확인하였으며 다음 장에서 자세히 서술한다.

제안된 회귀모델을 평가하기 위해 10겹 교차검증 횟수를 설정하였으며 평균 제곱근 오차(RMSE: root mean squared error), 평균 제곱 오차(MSE: mean squared error), 평균 절대 오차(MAE: mean absolute error), 결정계수(coefficient of determination, R²)의 총 4가지 평가기법을 도입하였다. 특히 결정계수 R² 지표는 예측값(t)이 입력값에 대해 얼마나 설명력을 갖게 되는지를 의미하는 수치로 1에 가까운 수일수록 양의 상관관계를 의미한다. n개의 데이터 샘플을 사용하였을 때 4가지 성능 평가 지표의 식은 아래와 같다.

• Coefficient of determination (R²):

• Root mean square error (RMSE)

• Mean square error (MSE)

• Mean absolute error (MAE)

일반적으로 일정 비율의 학습 데이터와 테스트 데이터로 구분하여 수행하는 경우와 달리 k겹 교차검증은 전체 데이터세트를 모델 검증에 활용할 수 있는 기법으로 테스트 집합을 순차적으로 바꿔가면서 모든 데이터에 대해 모형의 성과를 측정하는 검증방식이다. 본 연구에서는 10겹 교차검증으로 모델을 검증하였으며 전체 데이터세트를 10개로 분할 한 후 각 분할 단위가 순차적으로 검증에 사용된다. 이렇게 함으로써 과적합을 피할 수 있으며 평가에 사용되는 데이터의 편중을 방지할 수 있다.

Table 3는 Dataset 1에 대한 결괏값을 보여주고 있다. 진한 글씨로 표시한 XGBoost, LightGBM, CatBoost의 결과는 앙상블 모델을 개별적으로 수행하였을 때 나온 결과 중 높은 예측률을 보이는 상위 3개의 알고리즘이다. 수퍼 러너는 6개의 모든 앙상블 모델을 조합한 경우 SL-RAGXLC와 상위 3개로 조합된 SL-XLC로 나누었으며 Table 3에서 결괏값을 확인할 수 있다.

SL-RAGXLC와 SL-XLC의 경우는 결정계수 1.000의 값을 가지며 높은 예측률을 보였으며 다른 평가기법의 값 또한 개별적인 앙상블 모델을 수행하였을 경우와 비교하였을 때 향상된 양상을 보인다. 특히 모든 앙상블 기법을 조합한 SL-RAGXLC의 경우와 상위 3개 모델을 사용한 SL-XLC의 경우는 대동소이하며 SL-RAGXLC의 경우가 MSE = 3699.085, RMSE = 57.613, MAE = 19.706으로 더 낮은 오차값을 보였다. Fig. 7은 10번의 교차검증 과정을 수행한 R² 결괏값에 대한 박스-위스커 플롯(box-and-whisker plot)을 나타내고 있으며 수퍼 러너 모델들이 가장 높은 예측률을 보임을 알 수 있다.

Fig. 7. 
Box-Whisker plots of the 10-fold cross validation for the super learner methods (SL-RAGXLC/SL-XLC) compared to standalone ensemble models using Dataset 1

Fig. 8은 세 가지 기준(AISC 360-16, Eurocode 4, AS/NZS 2327)을 통한 결괏값과 SL-RAGXLC 결괏값의 비교정규분포 분위수 대조도(Q-Q plot: quantile-quantile plot)를 나타내고 있다. 수퍼 러너(SL-RAGXLC)를 통한 결괏값은 모든 범위에 걸쳐 좋은 예측을 보여주고 있다. 이는 각 기준에서 제시하는 식을 통한 결과 분포가 약간의 오차를 보이는 것과 대조적이다. 특히 AISC 360의 경우는 평가해야 할 극한 강도가 높아질수록 오차율이 증가하는 현상을 보이며 10,000 kN 이하의 분포에서는 세 가지 기준의 결괏값 모두 약간의 오차분포를 보이는 것을 알 수 있다.

Fig. 8. 
Correlation (Q-Q plot: quantile-quantile plot) between measured and predicted output of Dataset 1 using SL-RAGXLC model

Fig. 9은 강재의 항복응력 분포에 따른 각 결괏값의 예측 정확도 분포를 나타내고 있다. 제안된 수퍼 러너 기법을 통한 결괏값은 강재의 항복응력 범위와 무관하게 높은 예측정도를 보이고 있다. 이는 Fig. 10의 콘크리트의 압축응력 분포에 따른 각 결괏값의 예측 정확도 분포도에서도 동일하게 확인할 수 있다.

Fig. 9. 
Effect of steel yield strength on the predictions of SL-RAGXLC and code for Dataset 1

Fig. 10. 
Effect of concrete compressive strength on the predictions of SL-RAGXLC and code for Dataset 1

Fig. 11은 Dataset 1 결괏값에 대한 총괄적인 비교를 나타내고 있으며 R² 값에 대한 모든 앙상블 모델의 순위를 쉽게 알 수 있다.

Fig. 11. 
Performance comparison of ensemble models using correlation coefficient (R²) with 10-fold cross validation for Dataset 1

Table 4는 Dataset 2에 대한 결괏값을 보여주고 있다. 진한 글씨로 표시한 AdaBoost, XGBoost, CatBoost의 결과는 앙상블 모델을 개별적으로 수행하였을 때 나온 결과 중 높은 예측률을 보이는 상위 3개의 알고리즘이다. 수퍼 러너는 6개의 모든 앙상블 모델을 조합한 경우 SL-RAGXLC와 상위 3개로 조합된 SL-AXC로 나누어 수행하였다.

Table 4를 살펴보면 두 가지의 수퍼 러너 모두 높은 R² 값 0.999를 보이는 것을 알 수 있다. Dataset 2의 경우도 Dataset 1의 경우와 마찬가지로 6가지 앙상블 모델을 모두 사용한 SL-RAGXLC의 경우가 가장 낮은 MSE, RMSE, MAE 값을 보였다. Fig. 12는 10번의 교차검증 과정을 수행한 R² 결괏값에 대한 박스-위스커 플롯을 보여주고 있으며 10번의 반복과정에서 SL-RAGXLC가 가장 높은 R² 값을 보임을 확인할 수 있다.

Fig. 12. 
Box-Whisker plots of the 10-fold cross validation for the super learner methods (SL-RAGXLC/SL-AXC) compared to standalone ensemble models using Dataset 2

Fig. 13은 Dataset 2에 적용한 세 가지 기준(AISC 360-16, Eurocode 4, AS/NZS 2327)을 통한 결괏값과 SL-RAGXLC 결괏값의 비교정규분포 분위수 대조도를 나타내고 있다. 수퍼 러너(SL-RAGXLC)를 통한 결괏값은 모든 범위에 걸쳐 좋은 예측을 보여주고 있다. Dataset 2의 경우는 AS/NZS 2327의 결괏값이 평가해야 할 극한 강도가 높아질수록 오차율이 가장 크게 증가하는 현상을 보였다. Dataset 1의 경우보다 Dataset 2의 경우가 모든 기준값에 의한 결과가 더 큰 오차율을 보임을 알 수 있다. 이는 편심 정도를 나타내는 e 변수가 추가된 요인과 더불어 보-기둥 거동을 하는 데이터세트의 더 고도화된 비선형 관계가 복합적으로 작용한 것으로 풀이된다.

Fig. 13. 
Correlation (Q-Q plot: quantile-quantile plot) between measured and predicted output of Dataset 2 using SL-RAGXLC model

Fig. 14과 Fig. 15은 각각 강재의 항복응력 분포와 콘크리트의 압축응력 분포에 따른 각 결괏값의 예측 정확도 분포도를 나타내고 있다. 수퍼 러너를 통해 예측한 SL-RAGXLC의 결과는 전 범위 내에서 안정적인 예측정도를 보이고 있으며 이는 세 가지 기준에서 제시하는 식을 통한 결괏값이 실제 실험값과의 차이를 보이는 점과 대조적이다. 전체적인 Dataset 2 결괏값에 대한 총괄적인 비교는 Fig. 16에 나타내었다. 10겹 교차검증의 테스트값에 대한 R² 결과를 비교할 수 있으며 수퍼 러너를 사용한 두 경우 모두 높은 예측률을 보이고 있음을 알 수 있다.

Fig. 14. 
Effect of steel yield strength on the predictions of SL-RAGXLC and code for Dataset 2

Fig. 15. 
Effect of concrete compressive strength on the predictions of SL-RAGXLC and code for Dataset 2

Fig. 16. 
Performance comparison of ensemble models using correlation coefficient (R²) with 10-fold cross validation for Dataset 2