AI&ML
-
LLM을 이해하기 위하여 반드시 알아야 할 용어 7가지!AI&ML 2024. 9. 22. 10:27
인공지능이 빠르게 발전하면서, LLM(Large Language Model, 대규모 언어 모델)은 우리 생활의 다양한 영역에 큰 영향을 미치고 있습니다. 하지만 LLM의 개념을 깊이 이해하기 위해서는 몇 가지 핵심 용어들을 먼저 알아야 합니다. 이번 글에서는 LLM을 이해하는 데 필수적인 7가지 용어를 소개하겠습니다. 간단하게 개념정도만 익혀보도록 하겠습니다.1. 머신러닝 (Machine Learning)머신러닝이란?머신러닝은 컴퓨터가 명시적인 프로그래밍 없이 데이터로부터 학습할 수 있게 만드는 기술입니다. 즉, 컴퓨터는 데이터를 분석하고, 패턴을 찾고, 이를 통해 미래의 데이터를 예측할 수 있습니다. 이는 LLM이 데이터를 기반으로 언어를 이해하고 생성하는 방식의 핵심이 됩니다.머신러닝의 유형머신러닝은..
-
생성형 AI는 우리 생활에 얼마나 스며들었는가?AI&ML 2024. 9. 11. 17:42
서론: 생성형 AI란 무엇인가?생성형 AI란, 주어진 데이터를 바탕으로 새로운 콘텐츠를 생성해내는 인공지능 기술을 말합니다. 이 기술은 텍스트, 이미지, 음악 등 다양한 콘텐츠를 창작하는 데 사용되며, 최근 몇 년간 급격히 발전해왔습니다. AI 기술은 이제 우리의 일상생활에서 빠질 수 없는 부분이 되었는데, 이는 어떻게 가능했을까요? 우리가 AI를 인식하지 못할 정도로 생활 곳곳에 스며든 이유에 대해 살펴보겠습니다.생성형 AI의 발전과 우리의 일상생활AI의 발전은 기계 학습과 딥러닝 기술의 발전 덕분에 가속화되었습니다. 초기에는 단순한 패턴 인식에 불과했던 기술이 이제는 대규모 데이터를 바탕으로 새로운 정보를 생성하고 인간과의 상호작용이 가능해졌습니다. 예를 들어, 영화 추천 시스템, 음악 스트리밍 서비..
-
Azure Databricks에서 생성 AI 및 LLMs 개발하기AI&ML 2024. 4. 10. 13:34
Azure Databricks는 데이터 수집 및 준비에서부터 모델 개발과 LLMOps, 서비스 및 모니터링에 이르는 AI 라이프사이클을 통합하는 통합 플랫폼을 제공한다. 이 플랫폼은 생성 AI 애플리케이션 개발을 위해 최적화된 기능을 제공한다. 작년에 Dolly 라는 자체 AI모델을 서비스 하는것을 본적이 있는데, 현재는 어떻게 서비스를 제공하는지 궁금했다. 그래서 클라우드에서 Databricks를 배포하고 서비스 포털을 오픈해서 확인해보기로 한다. 최근 웨비나 영상에서 openAI처럼 인공지능 모델들을 체험할수 있는 AI Playground를 제공한다고 하여, 기대하면서 워크스페이스를 열었다. 하지만, 불행이도 Azure OpenAI 처럼 아직 한국리전에서는 이 기능을 제공하지 않는다. 아래 Regio..
-
2024년을 선도할 13가지 인공지능 트렌드AI&ML 2023. 12. 26. 13:42
2023년을 마무리하는 시점에서 올해 정말 대단했던 AI라는 록스타가 일년이 지나오는 시점에서, 그 불꽃같은 인기가 여전히 사그러들지 않고 있는 가운데, 내년에는 그 불꽃이 더욱더 화려한 무대를 장식하는 한해가 되지 않을까 생각하며, 2024년 인공지능이 어떤 변화를 준비하고 있는지 간단하게 알아보겠습니다. 이 내용은 아래 원문을 참고하였으며, 각 트렌드별 개인적인 생각을 추가하였음을 밝혀드립니다. 인공지능(AI)은 2024년을 맞아 전 세계적으로 급격한 변화를 겪고 있습니다. 예상되는 최고의 13가지 AI 트렌드를 통해 우리의 세계가 어떻게 혁신될 것인지 살펴봅시다. 1. Generative AI(생성적 인공지능): 이는 텍스트, 코드, 음악 등 새로운 창조적 콘텐츠를 생성할 수 있는 AI 시스템을 말..
-
언어 모델을 활용한 혁신적인 어플리케이션 개발: LangChainAI&ML 2023. 11. 6. 22:03
Summary Introduction: 언어 모델을 활용한 어플리케이션 개발을 위한 혁신적인 프레임워크, LangChain에 대한 소개입니다. LangChain은 언어 모델과 컨텍스트를 연결하여 상황을 이해하고 추론을 수행하는 어플리케이션을 개발하는데 도움을 줍니다. 이 글에서는 LangChain의 주요 가치 제안과 모듈에 대한 설명, 그리고 개발 시작을 위한 안내를 제공합니다. Paragraph 1: LangChain은 언어 모델을 기반으로 하는 어플리케이션 개발을 위한 프레임워크로, 어플리케이션을 컨텍스트에 민감하게 만들어줍니다. 이는 언어 모델을 프롬프트 지침, 예시, 내용 등의 컨텍스트와 연결하여 사용자의 요구를 이해하고 답변 및 행동을 결정하는데 활용됩니다. [컨텍스트 이해] LangChain을..
-
GPT-4 사용하기!AI&ML 2023. 10. 12. 23:27
인공 지능의 발전은 우리의 디지털 세계에 혁명을 일으키고 있습니다. 특히, 자연어 처리 분야에서의 진보는 우리의 일상 생활, 비즈니스 및 기술 환경에 영향을 미치고 있습니다. 이런 변화의 선두주자 중 하나가 OpenAI의 GPT 모델 시리즈입니다. 최근에 공개된 Azure OpenAI GPT-4는 이 시리즈의 최신 버전으로, GPT-3.5와 어떻게 비교되는지 알아보겠습니다. 1. 성능과 정확도 GPT-4는 GPT-3.5보다 훨씬 더 뛰어난 성능을 자랑합니다. 이전 버전과 비교하여 더 많은 데이터로 사전 훈련되었으며, 이는 텍스트 생성의 정확도와 문맥 이해 능력을 향상시켰습니다. GPT-4는 문장을 더 자연스럽게 생성하고, 특정 주제에 대한 깊은 이해를 보여줍니다. 특히 한국어를 이해하는 능력이 크게 향상..
-
챗 GPT 모델의 성능 향상을 위한 데이터 Chunking 전략AI&ML 2023. 7. 19. 00:17
챗 GPT 모델은 일반적으로 긴 입력을 처리하기에는 한계가 있으므로 데이터를 작은 "chunk"로 나누는 것이 좋습니다. 이를 통해 모델이 각 chunk를 개별적으로 처리할 수 있습니다. 아래에는 데이터 chunking을 위한 몇 가지 전략을 제시합니다. 고정 크기의 Chunking: 고정 크기의 Chunking은 입력 데이터를 일정한 크기의 chunk로 분할하는 전략입니다. 예를 들어, 입력 문장을 50개의 토큰으로 나눌 수 있습니다. 문장 경계를 기준으로 Chunking: 문장 경계를 인식하여 데이터를 분할하는 전략입니다. 마침표, 물음표, 느낌표 등의 문장 경계를 기준으로 문장을 분할합니다. 주제나 의도를 기준으로 Chunking: 데이터를 주제나 의도에 따라 분할하는 전략입니다. 대화 시나리오에서..
-
Choosing your AI model (AI 모델 선택하기)AI&ML 2023. 6. 24. 13:01
최근에 AI에 대한 관심이 실제 기업에서 어떤 식으로 적용할수 있을까에 대한 기술검증이 활발합니다. 우리말에 구슬도 꿰어야 보배다 라는 말이 있죠. 아무리 뛰어난 기술이라도, 어떤식으로 활용할수 있을지 눈에 보이지 않는다면, 신기류에 불과할 뿐일 것입니다. 처음 AI 모델을 선택할때 어떻게 시작해야할까요? 기업환경에 가장 적합한 모델을 선택하는것은 하나의 조건이 있는것이 아니라, 여러가지 조건들을 잘 따져 봐야 할것 입니다. 아래는 AI 모델을 선택할때 고려해야할 조건들을 나열해 보았습니다. - 모델이 바로 사용할 수 있는 품질을 보장하는가? - 추론 속도/지연 시간 - 비용 - 미세 조정(Fine-tune) / 확장성 - 데이터 보안 및 라이센스 허용성 대부분의 경우, 바로 선택할수 있는 모델은 GPT..