* 본 글은 IRSML: An intelligent routing algorithm based on machine learning in software defined wireless networking 을 읽으며 공부한 내용을 바탕으로 작성함. (출처: https://onlinelibrary.wiley.com/doi/full/10.4218/etrij.2021-0212)
3. IRSML ALGORITHM
IRSML 알고리즘은 이름 그대로 SDN 아키텍쳐에 기반해 centralized routing 원칙을 따라 실행되는 알고리즘이다.
IRSML의 목표는 PBP를 최소화하는 source to destination route를 찾는 것이다. 또한 이와 동시에 QoT와 EED는 항상 보장되는 상태여야한다.
이 알고리즘에서, 우리는 SL과 RL을 섞어서 새로운 route를 찾는다. ML은 개별 hop의 PBP, EED를 예측해내기 위해 사용되며, RL은 routing을 위한 constraints와 objective를 정의하는데 사용된다.
(해당 논문에서는 ML이라고 써있는데, ML의 하위 분야에 RL이 포함되는 것으로 알고 있다. 맥락상 SL을 말하는거 같긴 한데, 추후 확인이 필요하다.)
ML과 RL의 혼합 사용으로 얻게되는 이점은 각 hop의 성능 메트릭 예측 성능이 올라가게 된다는 것이다.
또한 ML로 PBP와 EED를 예측함으로써, 각 노드의 queue type과 switching technique등에 의존하지 않는다는 점이 장점이다.
그 후 PBP와 EED는 RL의 reward function의 learning rate로 활용된다.
3.1 Predicting performance metrics using SL
3.1.1 PBP on a route
Br(s,d)를 제공된 packet의 source node to destination node route(Rsd)의 PBP라고 정의하자.
Statiscal probability theory에 따라 Br(s,d)은 다음과 같이 정의될 수 있다.
Bh(i,j)는 hop(ij)에서 제공된 packet이 가지는 PBP이다. Bh(i,j)는 hop(ij)에서 제공된 packet들의 수와 block된 packet들의 수의 비율이다. 모든 source to destination route에 존재하는 hop(ij)들의 1-PBP 의 곱을 1에서 빼주는 것이 Br(s,d)의 정의가 되는 것이다. 정리해보면 route에 존재하는 모든 hop들의 block되지 않은 ratio를 전부 곱해주면 각 hop들이 block될 경우는 독립 사건이라 봤을 때, 1-(route 상의 모든 hop들의 packet이 전부 block되지 않은 경우)가 된다.
이 논문에서는 본 Bh(i,j)를 예측해내기 위해 SL을 사용했다.
WMN 내부의 각 hop hij에 대해 PBP는 2가지 주요 요소에 의해 결정된다.
1. hop에게 주어지는 traffic load - ρij
2. node의 queue length - i(L)
Bh(i,j)를 ρij, i(L)에 대한 function으로 정의해 SL로 regression 접근을 해보자.
Training Phase:
본 논문에서는 offline training method을 활용하였다. offline training method란 모델이 실제로 적용될 환경에서 사용될 데이터를 받기 전에, 미리 수집된 데이터를 사용하여 모델을 훈련시키는 방법을 의미한다.
Training data는 OMNeT++와 INET frame work를 Table 1의 가정과 함께 이용하여 생성했다고 한다.
Mobile Host가 Access Point를 통해 게이트웨이에 연결하여 인터넷에 액세스하는 일반적인 WMN application scenario를 사용했다.
이 시뮬레이션 토폴로지는 다음의 사진과 같으며, 17개의 AP, 30~60 MH를 포함한다.
계속 사진을 보며 설명하자면, 3개의 AP들이 GateWay에 optical fiber를 통해 연결이 되어있다.(gigabit ethernet standard)
본 논문에서는 각각의 ρij, i(L) 파라미터를 변경해가며 1020번의 시뮬레이션을 진행했다.
Regression:
시뮬레이션 이후, MATLAB의 surface fitting tool을 활용해 다음과 같은 Bh(i,j) regression function을 정의했다.
여기서 a는 Table 2에서 주어지는 상수이다.
이어지는 차트는 training data의 PBP와 regression function에 의해 계산된 PBP를 표현한다. regression model이 SSE = 0.03098, R2 score = 0.9978, adjusted R2 score = 0.9977, RMSE = 0.005717이라는 우수한 performance를 보여주므로, 높은 정확도로 PBP를 예측해내고 있다는 것을 알 수 있다.
3.1.2 EED
EED는 source node에서 destination node까지 도착하는데 걸리는 시간의 총 합이다.
따라서 packet이 route Rsd 를 통해 전송되었을 경우 EED는 다음과 같이 정의된다.
Th(i,j)는 각 hop에서의 EED를 의미한다. route 상의 모든 hop들의 EED의 합이 해당 route의 EED라는 것이다.
EED 또한 SL method를 활용하여 예측해보자.
training data set은 OMNeT++를 통해 구성하였고, scenario와 assumption은 전부 3.1.1. 과 동등하다.
Th(i,j)를 polynomial multi-variable function으로 정의하면 다음과 같다.
3.1.1. 과 같이 bxy는 사전에 주어진 상수이다. (TABLE 3 참조)
그리고 이를 통해 예측한 EED 값과 training data와의 비교 그래프는 다음과 같다.
해당 EED regression model의 performance는 SSE = 1.374, R2 score = 0.9981, adjusted R2 score = 0.9981, RMSE = 0.03805로 충분히 좋은 성능을 보여줌을 알 수 있다.
'논문' 카테고리의 다른 글
| SL, RL을 기반으로 한 라우팅 알고리즘 - 5(Conclusions) (0) | 2024.01.02 |
|---|---|
| SL, RL을 기반으로 한 라우팅 알고리즘 - 4 (0) | 2024.01.02 |
| SL, RL을 기반으로 한 라우팅 알고리즘 - 3.2 (0) | 2023.12.29 |
| SL, RL을 기반으로 한 라우팅 알고리즘 - 2 (0) | 2023.12.28 |
| SL, RL을 기반으로 한 라우팅 알고리즘 - 1 (0) | 2023.12.27 |