SK텔레콤이 통신 서비스에 특화된 대규모 언어 모델(Large Language Model, 이하 LLM)을 선보인다.
SKT는 30일 보도자료를 통해 5G 요금제, T멤버습, 공시지원금 등 국내 통신 전문 용어와 AI 윤리가치와 같은 통신사 내부 지침을 학습한 '텔코 LLM'을 개발하고 있으며 오는 6월 중에 개발을 완료할 예정이라고 밝혔다.
텔코 LLM은 GPT, 클로드와 같은 범용 LLM이 아니라 통신업에 특화된 LLM을 표방한다. SKT가 오픈AI, 앤트로픽 등과 협력을 통해 통신사의 서비스나 상품, 멤버십 혜택, 고객 상담 패턴 등 방대한 양의 데이터를 수집, 정형·비정형 데이터를 선별해 이를 에이닷엑스(A.X), GPT, 클로드 등 범용모델을 기반으로 학습시켜 통신에 특화된 LLM으로 튜닝했다.
통신사들이 AI컨택센터(AICC), 유통망, 네트워크 운용, 사내 업무 등 활용처와 특정 업무마다 최적화된 LLM을 가져다 쓸 수 있게 하는 멀티 LLM 전략이라는 것이 SKT의 설명이다.
SKT에 따르면 범용 LLM 대비 텔코 LLM은 통신 영역에서 높은 수준의 생성형 AI 작업을 수행할 수 있어 활용도가 높다. 범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 고객 요구에 제대로 대응하기 어렵지만, 통신 관련 데이터를 추가로 학습해 이 문제를 해결하는 과정이 텔코 LLM의 파인튜닝으로 이후 실제 상담사들이 평가라는 강화학습(RLHF) 과정을 거친 다음 마지막으로 언어 능력, 추론 능력, 통신 특화과제 수행 능력에 대해 모델평가(벤치마킹)를 한다.
SKT는 현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리에 30초 이상이 소요되는데, 텔코 LLM을 도입하면 상담사가 고객과 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 소요되는 시간을 크게 단축시켜 줄 수 있을 것으로 기대했다.
또한 델코 LLM 중 통신 관련 데이터를 입힌 클로드 버전의 경우 AI가 따라야 할 윤리원칙을 철저하게 학습하고 있으며, 국내에서 빠르게 생겨나고 있는 신조어나 욕설, 위협 폭언 식의 문맥 뉘앙스를 정확하게 파악할 수 있다.
통신사 네트워크 인프라 운용에도 사용할 수 있어 인프라 운용자가 네트워크 모니터링 중 문제가 발생하면 실시간으로 질문을 입력해 해결 방안을 받아볼 수 있다. 델코 LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에 사람이 직접 정보를 찾는 것보다 대응 시간을 단축할 수 있다.
한편, SKT는 통신사들이 생성형 AI 애플리케이션을 효율적으로 구축, 개발할 수 있는 '인텔리전스 플랫폼'도 공개했다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성 등까지 아우르는 일종의 기업용 AI 개발·운용 패키지다. 현재는 에이닷(A.) 등의 서비스 등에 적용 중이며 적용 사례를 지속 확대할 예정이다.
[영상] PC시장 관점에서 보는 명암이 갈린 인텔과 AMD의 2024년 2분기 실적,그리고 PC 시장의 미래는? 
