챗GPT 생성AI의 시대 - 기본개념 이해하기

오랜만에 블로그를 합니다. 그동안, 타회사내에 MLOps 구축관련 업무 때문에 3-4월이 후딱 지나가 버렸네요.

요즘은, 올해는 진짜 생성AI의 시대입니다. GPT라고 하면, 이름에서 알 수 있듯이, Generative (생성하는) Pre-trained (사전 학습된) Transformer (트랜스포머) 입니다.

 

Transformer 란 2017년에 구글에서 제시된 기계번역을 위한 Language 모델이라고 하는데요.

트랜스포머(Transformer)는 인공지능에서 자연어 처리를 하는데 사용되는 모델 중 하나입니다. 이 모델은 이전에 사용되었던 모델들과는 다르게, RNN이나 LSTM과 같은 순환 신경망 대신 어텐션(Attention)이라는 방법을 사용합니다. 이렇게 하면 이전에 사용되었던 모델보다 더욱 빠르고 정확한 결과를 얻을 수 있습니다.

self-attention : 단어간 연관성을 이용하는 언어모델. 이것을 이용하여 해당 단어 다음에 어떤 단어가 나올지 유추해서 대화하는 모델이라고 합니다.

RNN과 LSTM
과 같은 순환 신경망은 이전에 입력된 정보를 기억하면서 현재 입력을 처리하는 방식으로 동작합니다. 이렇게 하면 시퀀스 데이터(예: 문장)를 처리하는데 용이합니다. 하지만 긴 시퀀스 데이터를 처리할 때는 문제가 발생할 수 있습니다. 이유는 RNN과 LSTM의 경우, 이전에 처리된 정보를 기억하기 위해 입력 시퀀스의 모든 부분을 계속해서 저장하고 있어야 하기 때문입니다. 이 때문에 긴 시퀀스 데이터를 처리할 때는 연산량이 많아지고, 정보를 제대로 저장하지 못할 수 있습니다.

어텐션(Attention)
이러한 문제를 해결하기 위해 고안된 방법입니다. 어텐션은 입력 시퀀스의 모든 부분을 동시에 고려하지 않고, 현재 처리하고 있는 부분에 집중하도록 하는 방법입니다. 이렇게 하면 입력 시퀀스의 중요한 부분에 집중하여 처리할 수 있으며, 이전에 처리된 정보를 계속해서 저장할 필요가 없어집니다. 이를 통해 긴 시퀀스 데이터를 더욱 효율적으로 처리할 수 있습니다. 또한, 어텐션은 입력 시퀀스의 어느 부분이 출력에 가장 영향을 주는지를 파악할 수 있기 때문에, 문장의 중요한 내용을 보다 정확하게 파악할 수 있습니다.

아무튼, GPT는 OpenAI라는 회사에서 만들어졌고, 대규모 데이터셋으로 학습을 하였다고합니다.

알려진데로, 1750억개의 매개변수를 사용한다고하구요. 참고로 사람의 뇌는 대략 100조개의 시냅스로 이루어져 있다고 합니다. 

뇌는 '시냅스'라는 특수한 구조를 통해서 신경전달을 매개하게 된다

• OpenAI는 인터넷에 공개된 대량의 텍스트 데이터를 수집하고, 그 데이터를 전처리하여 모델이 학습할 수 있는 형태로 가공하여 모델을 학습
• 모델의 학습을 가속화하기 위해 대규모 컴퓨팅 리소스를 사용. 학습비용 대략 3.7조원 (뉴욕타임즈보도)

GPT-4 는 드디어 100조개의 매개변수를 이용. 인간의 뇌와 거의 유사하다고 합니다. 정말 엄청나네요.

 

아무리 뛰어난 인공지능이지만, 아직은 적지않은 오류도 발생합니다. 그 대표적인것이 할루시네이션현상입니다.

할루시네이션(환각) 오류(Hallucination Error)는 이미지, 음성 또는 텍스트 생성 모델에서 발생하는 문제입니다. 이 오류는 모델이 새로운 데이터를 생성할 때 원래 데이터에서 학습한 내용을 넘어서 일부러나 잘못된 내용을 생성하는 경우입니다.

할루시네이션 오류는 인공지능 모델의 성능을 향상시키는 데 도움이 되는데, 이는 모델이 새로운 것을 생성할 때 원래 데이터에서 학습한 내용을 넘어서 새로운 것을 생성할 수 있기 때문입니다. 그러나 때로는 원래 데이터에서 벗어나는 결과를 생성할 수 있으므로 주의해야 합니다.

 

OpenAI는 MS의 투자를 받아서 거대언어모델을 빠르게 학습할수 있었고, 일반 개발자들이 사용할 수 있게 API를 공개하기에 이르렀다. 이제 이런 ChatGPT 와 같은 모델을 데이터과학자의 전유물이 아닌 일반 개발자들이 그리고 비지니스 모델을 기획하는 기획자에게도 어렵지 않게 접근할수 있는 도구가 되었습니다.

 

하지만, AI의 윤리적인문제에 대한 우리들의 대비도 지금 바로 시작해야하지 않을까 생각합니다.

개인적으로 아래와 같은 문제들을 AI시대에 기술적인 문제와 더불어 같이 고민해봐야할 문제라고 생각합니다.

• 편향적으로 생성된 text(댓글들)로 인한 집단지성의 훼손 우려
• 종교,인종,등 여러 차별적요소의 무분별한 생성
• 지적재산에 대한 문제
• 생성된 데이터의 왜곡현상,데이터 품질저하
• AI모델이 범용화 되기전에 윤리적인 가이드라인 또는 제도적 장치 마련

 

아무리 뛰어난 기술도 인간의 이롭게하지 못한다면, 없는것보다 못하다고 생각합니다.

오늘은 기술과 함께 고민해봐야할 윤리적인 문제도 알아보았습니다.

그럼 오늘도 행복한 하루 보내세요!