[과학향기 Story] 생성형AI를 발전시키는 ‘거대 언어 모델’ : KISTI의 과학향기

과학향기 Story
스토리

스토리

[과학향기 Story] 생성형AI를 발전시키는 ‘거대 언어 모델’

<KISTI의 과학향기> 제3063호 2024년 05월 27일

미국 인공지능 전문기업 오픈AI가 지난 2022년 선보인 대화형 인공지능(AI) 챗봇 ‘챗GPT’에 대한 관심이 식을 줄 모르고 있다. 출시 후 5일 만에 사용자 100만명을 넘기며 생성형 AI 붐을 일으키자 국내외 빅테크 기업들도 서둘러 제미나이, 클로바X 등을 선보였다. 특히 구글은 AI 챗봇으로 인해 검색 엔진 이용률이 줄어들 것으로 전망되자 내부 위기 경보인 ‘적색경보(코드 레드)’를 발령하며 향후 테크 업계가 생성형 AI를 중심으로 재편될 것임을 시사했다.

생성형 AI는 요구 사항에 맞는 텍스트, 이미지, 오디오 등을 만들어내는 인공지능을 총칭한다. 챗GPT 같은 대화형 AI 챗봇은 텍스트에 특화된 생성형 AI로, 거대 언어 모델(Large Language Model, LLM)을 기반으로 만들어진다. 거대 언어 모델은 말 그대로 거대한 양의 텍스트 데이터를 학습해 답변, 요약, 번역 등을 수행하는, 인공신경망으로 구성된 언어 모델이다. 거대 언어 모델이 작동하기 위해 어떤 것들이 필요한지 자세히 알아보자.

그림 1. 생성형 인공지능은 거대 언어 모델을 기반으로 만들어 진다. ⓒshutterstock

시냅스 역할하는 ‘파라미터’ 수천억개 있어야

우선 언어 모델(Language Model)은 입력된 단어나 문장에 대해 통계적으로 가장 적절한 단어 혹은 문장을 출력하도록 훈련된 인공지능이다. 네이버나 구글 같은 검색 엔진의 연관 검색어 기능이 대표적인 예시다. 예컨대 검색창에 ‘아이’를 입력하면 ‘아이유’, ‘아이패드’, ‘아이폰’ 같은 연관 검색어가 표시되는데 이는 언어 모델이 입력값인 ‘아이’와 연관 있는 단어를 확률에 따라 보여주는 것이다. 확률은 학습한 검색 데이터를 기반으로 하는 만큼 많은 데이터를 학습할수록 정확한, 즉 사용자가 원하는 답변을 내놓는다.

거대 언어 모델은 수천억 개의 파라미터를 활용해 방대한 텍스트 데이터를 학습한 언어 모델이다. 파라미터는 언어 모델을 구성하는 신경망에 가중치를 부여한다. 언어 모델이 데이터를 학습하는 과정에서 파라미터는 요구 사항에 대해 정확한 답변을 산출하는 방향으로 값이 바뀐다.

예컨대 일차함수 f(x)=c*x로 짜인 언어 모델은 x에 어떤 값을 입력하면 파라미터 c에 x를 곱한 값을 내놓는다. 이 모델이 연관 검색어를 보여주는 언어 모델이라면 ‘아이’와 ‘아이패드’에 각각 숫자를 부여(예: 아이=3, 아이패드=9)한 후 데이터를 학습하면서 적합한 c를 찾아 나선다. 초기에는 c를 무작위로 부여(예: c=2)하는데 2*3이 9보다 작은 걸 인식해 c를 늘려가며 10을 내놓는 값(3)에 다가선다.

그림 2. 파라미터가 많을수록 AI의 성능이 좋아진다. ⓒshutterstock

로봇팔의 관절이 많아야 섬세한 동작을 할 수 있는 것처럼 파라미터가 많을수록 미세한 조정이 가능하다. 즉 파라미터가 많을수록 입력값의 세부적인 특성까지 파악할 수 있다는 뜻이다. 이런 이유로 파라미터는 시냅스(뉴런과 뉴런 사이에서 신경전달물질이 오가는 틈)에 비유되는 동시에 언어 모델의 성능을 판단하는 지표 중 하나로 여겨진다.

거대 언어 모델은 일반적으로 1,000억 개 이상의 파라미터를 가진다. 대표적으로 챗GPT 초기 버전에 쓰인 GPT-3의 파라미터는 1,750억 개로 알려졌고, 구글이 개발한 거대 언어 모델 PaLM은 5,400억 개의 파라미터를 갖고 있다. 파라미터가 1,000억 개 미만이면 ‘경량 거대 언어 모델(small Large Language Model, sLLM)’, ‘소형 언어 모델(Small Language Model, SLM)’ 등으로 따로 구분한다.

우리 삶과 밀접한 거대언어모델

생성형 AI가 산업계의 트렌드가 되면서, 구글, 네이버 등 다양한 국내외 기업에서 대규모 언어 모델 개발에 박차를 가하고 있다. 자체 보유한 데이터를 활용해 대규모 언어 모델을 개발하는 기업도 있지만, 메타 LLaMA2처럼 오픈 소스를 기반으로 제작한 대규모 언어 모델도 개발되고 있다. 다만 한글에 특화돼 있고, 과학 기술 정보 제공을 목적으로 한 대규모 언어 모델은 존재하지 않았다. 이에 한국과학기술정보연구원(KISTI)은 논문, 보고서 등 연구데이터를 대상으로 한 대규모 언어 모델 'KONI'를 개발해냈다. KONI는 올해 7월 중 오픈 소스로 공개될 예정이다.

이렇게 만들어진 거대 언어 모델은 이미 다양한 형태로 우리 삶에 침투하고 있다. 구글은 지난 5월 14일 제미나이와 음성 모델을 기반으로 만들어진, 사람처럼 보고 들을 수 있고 음성으로 대화하는 기능을 선보이면서 SF영화에서 나오는 AI 비서가 출시될 날이 머지않았음을 알렸다. 앞으로 AI 생태계가 우리의 삶을 어떻게 바꿔 놓을지 지켜보자.

글 : 김우현 과학칼럼니스트 / 일러스트 : 유진성 작가

메일링 구독 신청하기

KISTI의 과학향기

키워드로 보는 과학향기

키워드로 보는 과학향기

스토리

[과학향기 Story] 생성형AI를 발전시키는 ‘거대 언어 모델’