이번 논문은 CV 쪽 논문을 읽으며 관심을 가지게 된 LLM 등의 모델을 네트워크에 어떻게 적용해볼 수 있을까를 다룬 내용이다.
확실히 네트워크 쪽은 아직 AI 모델을 도입할 정도의 단계가 아니고, 도입을 하기 위해선 여러가지 챌린지가 존재한다.
그러나 그만큼 아직 많은 가능성이 존재하고, 연구할 가치가 있을 것이라고 믿어 의심치 않는다.
그러한 목표의 일환으로 본 논문을 찾아 읽게 되었다.
0. Abstract
네트워크 기술은 급속도로 발전하고, 그에 따른 다양한 복잡한 Task들이 있다.
그에 따라 네트워크의 설계, 구성, 관리 방식에 패러다임의 변화가 필요할 시점에 네트워크는 도착했다고 할 수 있다.
이러한 변화를 위해 LLM을 활용하는 새로운 프레임 워크인 ChatNet을 만들었다. ChatNet은 도메인에 적응된 네트워크 언어 모델로써, 다양한 외부 네트워크 도구에 접근할 수 있다.
ChatNet은 네트워킹 분야에 LLM을 통합하여 도메인 적응 application을 용이하게 하며, 자연어를 네트워크 언어로 매핑하여 네트워크 계획 작업의 효율성을 크게 향상시킬 잠재력을 강조한다. 또한 이 논문은 효율적인 파인튜닝과 프롬프트 엔지니어링을 포함한 여러 가능한 기술을 탐구한다.
1. Introduction
Generative AI 기술은 최근 다양한 연구에 활용되고 있다. 수십억 개의 모델 파라미터를 가진 LLM은 뛰어난 추론, 일반화 및 새로운 능력을 통해 text to text, text to Image, text to code 등 다양한 분야에서 가치를 보여주었다.
특히, 강력한 Zero-shot transfer 성능에 기반한 LLM들은 로봇의 실체화된 지능, 칩, 설계, 단백질 구조 생성 등에서 성공적인 활용 사례가 잇달아 등장하고 있다.
생성형 LLM들은 정보 특성을 압축하고, 방대한 지식을 토큰으로 Sequentialize 함으로써 개념적 이해, 논리적 추론, 의사 결정 과정에서 인간을 돕거나 대체할 수 있다.
이를 잘 활용하면 네트워크 작업을 효율적으로 완료할 수 있게 하며, vertical networking 분야에 적응된 LLM을 구현할 수 있을 것이다.
LLM의 탄생 이전에는 많은 연구 들이 intent driven networking을 위해 task-specific AI 모델을 활용해왔다.
* Vertical Networking Fields?
=> 특정 산업이나 시장에 맞춤화된 네트워크 기술과 솔루션을 의미한다.
* Intent Driven Networking? (IDN)
=> 비즈니스 목표를 직접 네트워크 정책으로 변환하는 것을 목표로 하는 네트워크 설계 및 관리 철학.
1. 자동화 : IDN은 네트워크 장치와 정책을 자동으로 구성한다. 네트워크 운영자는 고수준의 비즈니스 의도를 선언하고 시스템은 이를 구체적인 네트워크 구성으로 번역하고 실행한다.
2. 적응성 : 네트워크는 트래픽 패턴 보안 위협과 같은 환경 변화에 대응하여 자동으로 최적화된다.
3. 예측 및 진단 : 네트워크 문제를 예측하여 잠재적인 문제를 사전에 해결
4. 보안 통합 : IDN의 핵심 구성 요소인 보안은 네트워크를 의도 기반으로 보안 정책을 동 적으로 적용 가능.
예를 들어, Seq2Seq 모델을 활용한 챗봇인 Lumi는 운영자의 입력에서 엔티티를 추출하고 이러한 엔티티를 네트워크 의도 언어 및 배포 가능한 네트워크 정책으로 변환하는 것을 제안했다. Access Control List 규칙의 복잡성을 줄이기 위해, Language for ACL Intents는 지역, 요구 사항, 명령의 세 부분을 포함하는 특정 문법으로 설계되었다. 또 다른 사례에서는 BERT를 채택하고 다양한 장치의 매뉴얼에서 직접 학습하여 통합된 네트워크 데이터 모델을 생성하는 사례도 있다.
물론 이러한 방식들이 특정 네트워크 작업과 시나리오에서는 잘 작동할 수 있다. 그러나 몇가지 한계점이 존재하기도 한다.
1. 일반화 능력 부족 : 기존에 제시된 네트워크의 AI 모델은 일반화 능력이 부족한 경향이 있다. 다른 분야도 마찬가지지만 네트워크 분야는 특히 다양한 경우가 많이 발생하기 때문에 이러한 단점은 네트워크가 현실세계에 적용되는데 있어 큰 걸림돌이 될 것이다.
2. 막대한 Training Cost : 기존에 제시된 모델의 훈련에는 며칠이나 심지어 몇 달이 걸릴 수 있고, 많은 Computing Resource와 노동 비용이 소요된다.
3. 통합하기 어려움 : Task-Specific한 모델을 개발하는 것은 정해진 Input에 정해진 Output을 출력하는 것이므로 다른 곳에 통합되기 어렵다.
결국 이러한 단점은 모두 Task-Specific한 특정 Task 전용 Closed Set model을 만들었기 때문이다.
따라서 LLM을 네트워크에 적용해야할 동기는 충분하다고 볼 수 있다.
핵심은 네트워크 언어가 자연어 평문이 아니라 구조화된 공식 규칙, 프로토콜, 수학적 표현 및 수식 제약을 가지고 있다는 것이다. 그러나 LLM은 지속적으로 업데이트 되는 세계 지식을 학습하고 API를 통해 도구들을 종합적으로 활용할 수 있다는 전망이 있다. 따라서 임의의 복잡한 작업은 단순한 플러그 앤 플레이 기능 구성 요소의 조합으로 LLM을 껴넣음으로써 구현이 가능할 것이다.
이 논문에서는 네트워크 설계, 진단, 구성 및 보안을 포함하여 폭 넓은 분야를 위한 도메인 적응형 LLM을 구축하는 길을 개척하는 것을 목표로 한다.
본 논문을 요약하자면 자연어에 담긴 의도를 캡처하여 네트워크 언어로 변환하는 의도 변환 패턴 제시, 네트워킹을 위한 도메인 적응형 LLM 기술(Pre-Training, Inference, Prompt Engineering), LLM 기반 네트워크 지능을 표현하기 위해 분석기, 계획자, 계산기, 실행자의 필수 구성 요소를 갖춘 개념적 프레임워크인 ChatNet의 제안, ChatNet이 의도를 이해하고 변화하는 트레픽 매트릭스 및 제약 조건을 고려하여 Visual Capacity Scheme를 생성할 수 있는 LLM 기반 네트워크 계획에 대한 연구를 수행한다.
2. Applications of LLM in Networking
A. Potential LLM Applications for Vertical Network Fields
네트워크 시스템 개발 및 네트워크 인프라 관리는 많은 전문가가 필요한 고비용 노동 작업이다.
이전에는 네트워크 지능이 파편화되어 있었으며, DNN, LSTM, DRL과 같은 여러 소규모 모델에 분산되어 있었다.
각 모델은 고객 서비스를 위한 지능형 보조기구, QoS 향상을 위한 적응형 라우팅 알고리즘, 수동 오류를 완화하는 definite configuration synthesis module들과 같은 특정 전문 환경 내에서 독립적으로 배치되어왔다.
* Definite Configuration Synthesis Module?
=> 네트워크 설정을 자동화하여 사람의 수작업으로 발생할 수 있는 Human Error를 줄이기 위해 설계된 소프트웨어 모듈. 이 모듈은 다양한 네트워크 장비와 설정에 대한 복잡한 요구 사항을 프로그램적으로 합성하고 구성하여 최적화된 네트워크 설정을 자동으로 생성한다.
LLM은 일반적인 자연어 인터페이스를 통해 네트워크 지능을 통합할 것을 보장하며, 이를 통해 네트워크 자체가 지식을 이해하고 도구를 마스터하는 범용성을 가지게 된다.
1. 네트워크 설계 : LLM은 네트워크 성능 지표, 장비 사양, 과거 설계 패턴을 포함한 방대한 Data Set을 학습하여 엔지니어가 장비 선택, 네트워크 계획, 프로토콜 수립 및 네트워크 설계의 다른 많은 측면을 보조한다.
장비 선택에서 LLM은 호환성 요구 사항, 성능 벤치마크 및 비용 고려 사항을 분석하여 특정 네트워크 목표에 부합하는 관장 사항을 제공할 수 있다.
이를 위해, LLM은 다양한 네트워크 구성을 시뮬레이션하고 잠재적인 병목 현상을 예측하며, 효율성, 확장성 및 복원력을 균형있게 조정하는 최적의 레이아웃을 제안할 수 있다
2. 네트워크 진단 : 문제 해결은 네트워크 운영자에게 많은 노력을 요하는 작업이다. 특히 대규모 광역 네트워크에서는 여러 지역의 다른 파트간 조정이 필요하며, 응용 프로그램은 여전히 설명할 수 없는 네트워크 장애나 성능 저하를 겪는다.
LLM을 네트워크 진단 시스템에 통합함으로써, LLM은 결함 보고서를 생성하고, 결함 위치를 신속하게 찾아내어 합리적인 처리 제안을 제공할 수 있다.
3. 네트워크 구성 : 네트워크에는 Switch, Router, Middleware와 같은 다양한 장비들이 있다. Vendor별 장비 모델로 인해 사용자 매뉴얼을 학습하고 적절한 명령어를 수집, 구성 템플릿을 검증하고 템플릿 매개변수를 컨트롤러 데이터베이스에 매핑하는데는 상당한 전문가의 노력을 요한다. 이 과정 중 단 하나의 ACL 오류 구성만으로도 네트워크 중단이 발생할 수 있다. 이러한 문제를 완화하기 위해서라도 구성 과정을 단순화하고 자가 구성 네트워크를 가능하게 하는 통합 자연어 구성 인터페이스가 필요하다는 것을 알 수 있다.
4. 네트워크 보안 : 네트워크는 종종 DDoS 공격, Address Spoofing, Data leakage와 같은 보안 문제에 직면한다.
네트워크를 악의적인 공격으로부터 보호하는 것은 보안 평가, 취약점 스캔, 침입 탐지 및 방어와 같은 일련의 작업들의 결합이다. LLM은 다양한 보안 도구와 시스템에 접근할 수 있는 강력한 대화형 플랫폼이다. 예를 들어, 논리적으로 엄격한 프롬프트에 의해 지시되는 LLM은 Wireshark의 파싱 도구를 호출하고, 방화벽 정책을 업데이트함으로써 비정상 트래픽을 거부하는 작업을 실행할 수 있다.
B. From Natural Language to Network Language
표 1에서 보여지듯이, 자연어 평문과 달리 네트워크 언어는 high level management policy 부터 low level ACL, CLI, 데이터 모델링 언어(YANG, XML, JSON)에 이르기까지 다양한 비표준화 형식과 기호를 포함하고 있다.
전통적인 매핑 방법은 형식화된 번역(entity abstraction, template filling)에 국한된다. 이와 대조적으로 LLM은 형식화된 대답이 아닌 자연어 input에 따른 맞춤형 응답을 제공할 수 있다. 이 능력을 활용하여 생성된 Network Language는 더 나은 네트워크 QoE 성능을 제공할 수 있다.
또한 네트워크 언어는 도메인별 명사, 프로토콜 및 규칙뿐만 아니라 수학적 제약도 포함하고 있으며, 여기서 LLM은 모호성으로 인해 오류를 일으키기 쉽다.
따라서 여기서 대량의 네트워크 지식으로 LLM을 Fine-tuning하여 도메인 적응형 네트워크 LLM을 가능하게 하고, 외부 문서에 접근을 기반으로 한 검색 증강 아이디어가 자연어를 네트워크 언어로 매핑하는데 도움이 될 것이라고 한다.
(첫번째 아이디어)
또한 네트워크 작업을 완료하는 것은 복잡하고 오류가 발생하기 쉬운 과정이며, 의미론적 정확성만 갖추는 것이 아니라 실제로 배포가 가능해야한다는 조건도 붙는다. (실제로 네트워크 라우팅 등에 AI를 결합하는 이론을 제시한 많은 논문이 현실세계 적용에 있어 어려움을 겪는다.)
이 문제를 해결하기 위해 Intent Refinement가 제안되었는데, 이는 Bi-LSTM과 Knowledge Graph와 같은 방법을 활용하여 선언된 의도에서 네트워크 기본 요소로의 번역 정확성과 완전성을 보장한다. 또한 네트워크 검증은 추가적으로 충돌하는 정책을 검사하고 다양한 네트워크 도구를 사용하여 결과의 실현 가능성을 검증한다.
그러나 의도 기반 네트워킹에서 서로 다른 도구와 접근 방식을 조합하는 것은 어려울 수 있으며 여기서는 LLM의 GPT 기술이 도구 사용법을 배울 수 있을 만큼 강력하다고 간주한다.
따라서, 도메인 적응형 네트워크 LLM이 검색 엔진, 데이터 분석기, 수학적 해결사 및 네트워크 도구와 같은 외부 도구에 접근하여 시계열 데이터 처리, 프로토콜 파싱, 수학 모델 구성과 같은 작업을 자동화 할 수 있다. 이러한 종류의 네트워크 LLM을 ChatNet이라고 부른다.(두번째 아이디어)
3. Domain-Adpated LLMs For Networking
A. Enabling Techniques for Network LLMs
네트워크 LLM을 위한 지원 기술은 3 가지 범주로 나뉠 수 있다. (Pre-Training, FineTuning, Inference)
Pre-Training 부분에서는 LLM의 작동 매커니즘을 제안한다. Open Source Vanilla LLM을 기반으로 할 때, Fine-Tuning은 도메인 적응형 네트워크 LLM을 설정하는데 가장 중요한 단계이다.
1. Generative Pre-trained Transformer(GPT) :
LLM의 훈련은 대규모 Unsupervised Learning을 포함하며, 모델은 광범위한 Text Corpus에서 Pre-Training되어 다음 단어를 예측하는 법을 배우는 식으로 이루어진다. 입력은 워드 임베딩이며 이는 GPT의 모든 계층을 통과한다. 각 계층은 보통 Multi Head Attention 모듈과 FFN으로 구성된다. Multi Head Attention 매커니즘은 다중 어텐션을 활용하여 문장 내 각 단어를 병렬처리하고 QKV 벡터 및 중간 결과 Xl을 사용한다.
각 헤드 출력은 선형 변환으로 다음 토큰 확률을 계산하게 된다.
2. Parameter-efficient Finetuning :
처음부터 LLM을 훈련시키는 것은 많은 비용이 들고 제3자 LLM을 API를 통해 호출하는 것은 Data Leakage의 부담이 있으므로 오픈소스 LLM을 Fine tuning하는 방법을 사용해야한다.(공부해본 결과 보통 민간인은 다 이런 식으로 할 수 밖에 없다...) 보통의 파라미터 효율적인 파인튜닝은 Pre-train의 결과로 배포된 대부분의 가중치를 고정하고 특정 계층을 조정하거나 추가로 조정 가능한 파라미터를 도입하는 것을 의미한다. 예를 들어 Low-Rank Adaptation(LoRA)는 낮은 랭크 행렬을 도입하여 모델의 가중치에서 필요한 변화를 근사한다. 전체 파라미터 도출 방식에 비해, LoRA는 원래 모델의 일반적인 구조에서의 능력을 유지하며 특정 도메인과 Task에 맞게 조정하는 균형을 맞추는 것에 초점을 둔 것이다.
(본 블로그에 게시한 Grounding DINO의 사례에서도 파라미터를 처음부터 가져가지 않고 사전 학습된 파라미터를 사용하였다.)
특히, Fine tuning에서 중요한 점은 Data Source와 Data Set의 품질에 크게 의존한다. 네트워크 데이터 수집에는 운영 보고서, 사용자 메뉴얼, 스크립팅 언어, 프로토콜 설명, 디버깅 로그 등 다양한 자료가 포함된다. Data Set을 표준화 한다는 것은 클리닝, 필터링, 정규화 등의 과정을 포함한다.
또한 Tokenizer를 구성하여 Tokenizing 효율성을 향상시킬수 있으며, 이는 네트워크 프로토콜에서 흔히 발견되는 키워드와 같은 도메인 정 네트워크 용어를 위한 새로운 토큰을 추가함으로써 이루어진다.
3. Context-aware Inference :
Natural word to Network word의 단순한 매퍼 이상으로, 도메인 적응형 네트워크 LLM은 전례 없는 ICL 및 Multi turn 대화 능력을 갖추고 있다. ICL은 LLM에게 지속적인 프롬프트를 제공함으로써, 전제 조건과 환경의 반복적 구축을 피할 수 있다는 것이다. 이러한 능력을 통해 Zero-Shot 능력을 지닐 수 있다는 것을 설명한 세션이었다.
B. Prompt Engineering for Assessment
LLM이 원하는 출력을 생성하도록 유도하는 질문이나 명제를 만드는 작업은 LLM의 성능을 극대화하는데 매우 중요한 요인 중 하나이다.(Chain of thinking)
특히, 복잡한 네트워크 작업의 경우, 프롬프트는 특정 제약과 응답 형식을 만족시키는 충분한 맥락을 포함하여야 한다.
(모호하지 않아야한다.)
TeleQnA DataSet은 텔레콤 분야에서 LLM의 지식을 평가하는데 사용되는 데이터셋이다. 이 데이터셋은 10000개의 질문과 답변을 포함한다. NetEval 데이터셋은 네트워크 운영에서 26개의 공개적으로 사용 가능한 LLM의 종합적인 능력을 측정하기 위 5732개의 질문이 포함된 데이터 셋이다. 다음은 몇가지 자주 사용되는 프롬프트 방법이다.
1. Zero Shot and Few Shot :
Zero-Shot Prompt는 작업 설명과 테스트 질문만을 포함하며, 기술 사양에서 개념을 설명하는 것과 같은 간단한 Networking 작업에 적합하다. Few-Shot Prompt는 약간 더 복잡하게 원하는 작업이나 답변 형식을 보여주는 소수의 예시를 포함시켜 물어보는 것이다. 네트워크에서 이러한 예시들은 네트워크 구성, 문제 해결 시나리오 또는 프로토콜 상호작용의 간략한 설명이다.
2. Chain of Thought :
LLM이 복잡한 산술, 상식 및 상징적 추론 작업을 다루는데 도움을 준다. 프롬프트에 Let's think step by step과 같이 지시함으로써 구조적이며 논리적인 추론을 돕는 것인데, 이를 통해 LLM은 네트워킹 문제를 체계적으로 분석하도록 유도될 수 있다.
3. Retrieval-Augmented Generation(RAG) :
RAG은 LLM을 정보 검색 기술, 특히 벡터 검색과 결합하여 모델의 기억력과 사실적 정확성을 향상시킨다.
자세히 알아보자면, 쿼리 수신시 모델은 광범위한 DB에 접근하여 의미적 검색을 수행, 관련된 텍스트 조각을 선택한다. 검색된 정보는 프롬프트로써 모델에 제공되고, 모델에게 맥락이 풍부한 배경을 제공함으로써 보다 정보에 입각하고 정확한 응답을 생성할 수 있게 된다.(또한 모델의 저장 공간 부담이 줄어든다.) 이는 새로운 샘플로 지속적으로 LLM을 재훈련할 필요를 없애준다.(DB 업데이트만 하면 됨.)
4. ChatNet Framework
도메인 적응력 강화 후에도 ChatNet의 실제 구현까지는 여전히 많은 과제가 남아있다. 지식을 이해했다고 도구 사용 능력이 바로 생기지 않기 때문이다. 이 섹션에서는 네트워크 도구 활용 능력을 향상시키기 위해 필요한 핵심 구성 요소에 대한 심층 분석을 제공하고 ChatNet Framewrok를 제안한다.
A. Essential Compnents of ChatNet
ChatNet의 언어 이해와 도구 사용은 Analyzer, Planner, Calculator, Executor의 4가지 기본 모듈을 바탕으로 한다.
1. Analyzer :
네트워크 LLM에 의해 구동되는 Analyzer는 주요 개념, 도구 및 그 관계를 추출하여 네트워크 작업 실행 가능성을 평가하도록 설계되었다. 일반적으로 Analyzer는 자연어 설명 프롬프트를 입력받으며 이는 작업 설명, 네트워크 상태, 네트워크 제약 조건의 내용을 담고 있어야한다. 또한 데이터셋을 업로드하고 파일을 연결할 수 있는 추가적인 파일 인터페이스가 있다.
2. Planner :
계획자는 네트워크 작업을 완료하기 위핸 필요별 단계 과정을 추론한다. 여기서 계획 공간 P는 {PL, PA, PS} 집합으로 정의된다. PL은 Plan Logic이며 간단한 순차적 단계나 반복 단계를 의미한다. PA는 Plan Action이며 파일 읽기, 도구 접근과 같은 맞춤형 작업 및 조치의 모음이다. PS는 Plan Skills이며 특정 네트워크 도구를 활용하는데 필요한 기술이다.
3. Calculator :
LLM은 네트워크 수학 및 수식 처리에는 적합하지 않다. 그러나 네트워크 시스템 내에는 복잡한 수치 계산과 모델 제약이 존재한다. 따라서 LLM은 각 단계의 파라미터를 계산하기 위한 보조 계산 모듈을 갖추어야한다.
예를 들어 계산기는 간단한 산술 연산을 수행하기 위해 프로그래밍 언어를 호출하거나, 솔버를 불러올 수 있다.
(Planner와 Calculator의 상호작용은 어느정도 인간이 개입해주어야한다.)
4. Executor :
Executor는 최종 결과를 출력하는 역할을 담당한다. 일반적으로 Executor는 네트워크 구성 명령(ACL,CLI 등)뿐만 아니라 네트워킹 스키마와 프로토콜을 코딩을 통해 생성한다. 네트워크 LLM의 통합 API를 통해 실행자는 네트워크 에뮬레이터, 컨트롤러 및 검증 도구와도 통합될 수 있다.
B. Case Study under Network Planning
GPT-4 모델을 ChatNet의 프로토타입으로 시뮬레이션 해보기 위해 GPT-4 모델을 Analyzer, Planner, Calculator, Executor로 프롬프트한다. 프롬프트는 Analyzer의 역할을 네트워크 플래너로 설정하고 이후 트래픽 매트릭스, 용량 제약, 최적화 목표 및 원하는 작업 출력에 대해 알린다.
먼저, Analyzer는 네트워크 용량 계획을 설명하고 제약 해결을 위한 Cplex, 네트워크 토폴로지 생성을 위한 NetworkX, 시각화를 위한 Matplotlib과 같은 도구를 지정한다. Planner는 작업을 분리하고 단계별로 실행을 시작하는데, 이는 주로 트래픽 매트릭스 파일 읽기, 네트워크 용량 솔루션 계산, IP 및 광네트워크 토폴로지 그리기를 포함한다. 비용 계산 식과 최적화 모델은 계산기 모듈이 미리 저장되며 Executor는 다양한 혼잡 수준을 표시하기 위해 점선과 실선을 사용하는 맞춤형 네트워크 capacity 솔루션을 생성한다.
네트워크 도메인에서 Task Benchmark와 Supervision Data Set이 부족하기 때문에, LLM evaluator, expert evaluation을 결합하여 Zero-Shot, Few-Shot, CoT, RAG의 프롬프트 방법을 간략하게 평가한다.
5. Challenges and Future Prospect
A. Training Multi-modal Network LLMs
텍스트, 이미지, 네트워크 특정 코드와 같은 다양한 데이터 유형을 통합하는 것은 네트워킹을 위한 multi modal LLM을 구축하기 위해 복잡한 훈련 과정을 필요로 한다. 이 모델은 네트워크 환경의 복잡성을 정확하게 반영하는 식으로 이러한 다중 데이터를 처리하고 해석하는데 능숙하여야한다. 또한 시간이 지남에 따라 일관성이 떨어지는 문제도 있다.
네트워크 기술과 프로토콜은 빠르게 발전하며, 이는 훈련 데이터를 지속적으로 업데이트해야 할 필요성을 초래한다.
이러한 요소들을 균형있게 유지하면서 훈련 비용과 컴퓨팅 자원을 최소화하는 것이 필요하다.
B. Developing Network LLM Plugins
네트워크 LLM Plugin의 개발은 네트워크 관리와 설계에서 새로운 시점을 제시할 수 있다. 이 플러그인들은 LLM의 기능을 확장하도록 설계되어 다양한 네트워크 구성 요소 및 시스템과 보다 유연하게 상호 작용할 수 있게 한다.
여기서 중요한 것은 다양한 네트워크 아키텍처를 수용할 수 있을 만큼 유연하면서도 의미 있는 통찰과 조치를 제공할 수 있을 만큼 특정한 플러그인을 설계하는 것에 있다. 이러한 플러그인은 기존 네트워크 도구 및 프로토콜과 원활하게 통합이 될 수 있어야 한다. 또한, 이러한 플러그인의 보안성과 신뢰성을 확보하는 것이 매우 중요하다.
C. Enabling Network Embodied Intelligence
LLM을 통한 네트워크 구현 지능은 보다 빠르고 효율적이며 자가 최적화 가능한 네트워크 시스템을 보장해야한다.
예를 들어, DRL이 포함된 네트워크 계획 시스템과 같은 의사결정 시스템에 네트워크 LLM을 통합하는 것은 의미 있는 일이다. (나머지는 할루시네이션 등을 조심하여야한다는 이야기이다.)
나의 결론 :
네트워크는 아직 다양한 데이터들의 수집법이 요원하고, 각각의 Specific 요소가 너무 많아 통합형 모델을 만들기 어렵다고 볼 수 있다. 이전에는 여기서 생각을 마쳤을 것이다.
그러나 CV 등 다른 곳의 내용을 같이 공부해보니, CV는 LLM의 ICL의 장점을 취하며, Cross-Modality 등을 잘 처리하여 성공적인 파운데이션 모델을 만들어낸 성과들이 있었다. 물론 이러한 파운데이션 모델을 개인이 만든다는 것은 정말 말이 안되는 일이지만, 적어도 작은 네트워크라는 그것도 안되면 무선 네트워크와 같이 더 규모를 줄인 분야에 대해 기존에 Pre-train된 모델을 가져다가 적용을 하는 방법론을 만드는 것은 불가능한 일이고 요원하기만 할까? 라는 생각이 자꾸만 들었다.
'논문' 카테고리의 다른 글
| AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving (0) | 2024.07.16 |
|---|---|
| Open-Set Image Tagging with Multi-Grained Text Supervision (0) | 2024.07.11 |
| Segment Anything (0) | 2024.07.04 |
| Grounding DINO : Marrying DINO with Grounded Pre-Training for Open-Set Object Detection (0) | 2024.07.01 |
| Learning Transferable Visual Models From Natural Language Supervision - CLIP (0) | 2024.06.27 |