분류 전체보기
-
생성형 AI는 우리 생활에 얼마나 스며들었는가?AI&ML 2024. 9. 11. 17:42
서론: 생성형 AI란 무엇인가?생성형 AI란, 주어진 데이터를 바탕으로 새로운 콘텐츠를 생성해내는 인공지능 기술을 말합니다. 이 기술은 텍스트, 이미지, 음악 등 다양한 콘텐츠를 창작하는 데 사용되며, 최근 몇 년간 급격히 발전해왔습니다. AI 기술은 이제 우리의 일상생활에서 빠질 수 없는 부분이 되었는데, 이는 어떻게 가능했을까요? 우리가 AI를 인식하지 못할 정도로 생활 곳곳에 스며든 이유에 대해 살펴보겠습니다.생성형 AI의 발전과 우리의 일상생활AI의 발전은 기계 학습과 딥러닝 기술의 발전 덕분에 가속화되었습니다. 초기에는 단순한 패턴 인식에 불과했던 기술이 이제는 대규모 데이터를 바탕으로 새로운 정보를 생성하고 인간과의 상호작용이 가능해졌습니다. 예를 들어, 영화 추천 시스템, 음악 스트리밍 서비..
-
데이터브릭스의 데이터 객체 계층 구조Data 2024. 7. 1. 17:42
데이터 레이크하우스 플랫폼에서의 데이터 구조 및 접근 방식데이터브릭스 레이크하우스 플랫폼에서 데이터 객체 계층 구조는 데이터가 어떻게 구성되있고 접근되는지를 나타냅니다. 데이터브릭스 레이크하우스는 Delta Lake를 사용하여 데이터베이스, 테이블, 뷰와 같은 전통적인 RDB와 같이 친숙한 관계를 통해 데이터를 구성하며, 이것은 DW와 Data Lake의 장점을 합쳐 놓은것이라고 보면 됩니다.주요 데이터 객체는 다음과 같습니다:메타스토어(HMS)카탈로그데이터베이스/스키마테이블뷰함수볼륨메타스토어(HMS)메타스토어는 레이크하우스에서 데이터 객체에 대한 메타데이터를 저장하는 중앙 저장소입니다. Azure Databricks에는 Unity 카탈로그 메타스토어와 기본 제공 하이브 메타스토어의 두 가지 유형이 있습..
-
Azure Databricks에서 생성 AI 및 LLMs 개발하기AI&ML 2024. 4. 10. 13:34
Azure Databricks는 데이터 수집 및 준비에서부터 모델 개발과 LLMOps, 서비스 및 모니터링에 이르는 AI 라이프사이클을 통합하는 통합 플랫폼을 제공한다. 이 플랫폼은 생성 AI 애플리케이션 개발을 위해 최적화된 기능을 제공한다. 작년에 Dolly 라는 자체 AI모델을 서비스 하는것을 본적이 있는데, 현재는 어떻게 서비스를 제공하는지 궁금했다. 그래서 클라우드에서 Databricks를 배포하고 서비스 포털을 오픈해서 확인해보기로 한다. 최근 웨비나 영상에서 openAI처럼 인공지능 모델들을 체험할수 있는 AI Playground를 제공한다고 하여, 기대하면서 워크스페이스를 열었다. 하지만, 불행이도 Azure OpenAI 처럼 아직 한국리전에서는 이 기능을 제공하지 않는다. 아래 Regio..
-
2024년을 선도할 13가지 인공지능 트렌드AI&ML 2023. 12. 26. 13:42
2023년을 마무리하는 시점에서 올해 정말 대단했던 AI라는 록스타가 일년이 지나오는 시점에서, 그 불꽃같은 인기가 여전히 사그러들지 않고 있는 가운데, 내년에는 그 불꽃이 더욱더 화려한 무대를 장식하는 한해가 되지 않을까 생각하며, 2024년 인공지능이 어떤 변화를 준비하고 있는지 간단하게 알아보겠습니다. 이 내용은 아래 원문을 참고하였으며, 각 트렌드별 개인적인 생각을 추가하였음을 밝혀드립니다. 인공지능(AI)은 2024년을 맞아 전 세계적으로 급격한 변화를 겪고 있습니다. 예상되는 최고의 13가지 AI 트렌드를 통해 우리의 세계가 어떻게 혁신될 것인지 살펴봅시다. 1. Generative AI(생성적 인공지능): 이는 텍스트, 코드, 음악 등 새로운 창조적 콘텐츠를 생성할 수 있는 AI 시스템을 말..
-
언어 모델을 활용한 혁신적인 어플리케이션 개발: LangChainAI&ML 2023. 11. 6. 22:03
Summary Introduction: 언어 모델을 활용한 어플리케이션 개발을 위한 혁신적인 프레임워크, LangChain에 대한 소개입니다. LangChain은 언어 모델과 컨텍스트를 연결하여 상황을 이해하고 추론을 수행하는 어플리케이션을 개발하는데 도움을 줍니다. 이 글에서는 LangChain의 주요 가치 제안과 모듈에 대한 설명, 그리고 개발 시작을 위한 안내를 제공합니다. Paragraph 1: LangChain은 언어 모델을 기반으로 하는 어플리케이션 개발을 위한 프레임워크로, 어플리케이션을 컨텍스트에 민감하게 만들어줍니다. 이는 언어 모델을 프롬프트 지침, 예시, 내용 등의 컨텍스트와 연결하여 사용자의 요구를 이해하고 답변 및 행동을 결정하는데 활용됩니다. [컨텍스트 이해] LangChain을..
-
Azure Cosmos DB for MongoDB: NoSQL의 힘을 끌어올리다Data 2023. 11. 5. 16:37
현대 앱 개발의 끊임없는 발전 속에서 Azure Cosmos DB for MongoDB는 게임 체인저로 등장합니다. 이 완전히 관리되는 NoSQL 및 관계형 데이터베이스는 MongoDB의 능력을 손쉽게 활용할 수 있는 완벽한 경험을 제공합니다. Azure Cosmos DB for MongoDB의 이점과 작동 방식에 대해 알아보고 다음 프로젝트를 어떻게 강화할 수 있는지 살펴봅시다. Cosmos DB for MongoDB - 게임 체인저 Azure Cosmos DB for MongoDB는 MongoDB Atlas과 같은 다른 MongoDB 서비스와 비교해 다양한 이점을 제공합니다. 이 서비스는 클라우드 네이티브 애플리케이션을 염두에 두고 설계되었으며 Request Units (RU) 아키텍처를 갖춘 유연하..
-
GPT-4 사용하기!AI&ML 2023. 10. 12. 23:27
인공 지능의 발전은 우리의 디지털 세계에 혁명을 일으키고 있습니다. 특히, 자연어 처리 분야에서의 진보는 우리의 일상 생활, 비즈니스 및 기술 환경에 영향을 미치고 있습니다. 이런 변화의 선두주자 중 하나가 OpenAI의 GPT 모델 시리즈입니다. 최근에 공개된 Azure OpenAI GPT-4는 이 시리즈의 최신 버전으로, GPT-3.5와 어떻게 비교되는지 알아보겠습니다. 1. 성능과 정확도 GPT-4는 GPT-3.5보다 훨씬 더 뛰어난 성능을 자랑합니다. 이전 버전과 비교하여 더 많은 데이터로 사전 훈련되었으며, 이는 텍스트 생성의 정확도와 문맥 이해 능력을 향상시켰습니다. GPT-4는 문장을 더 자연스럽게 생성하고, 특정 주제에 대한 깊은 이해를 보여줍니다. 특히 한국어를 이해하는 능력이 크게 향상..
-
챗 GPT 모델의 성능 향상을 위한 데이터 Chunking 전략AI&ML 2023. 7. 19. 00:17
챗 GPT 모델은 일반적으로 긴 입력을 처리하기에는 한계가 있으므로 데이터를 작은 "chunk"로 나누는 것이 좋습니다. 이를 통해 모델이 각 chunk를 개별적으로 처리할 수 있습니다. 아래에는 데이터 chunking을 위한 몇 가지 전략을 제시합니다. 고정 크기의 Chunking: 고정 크기의 Chunking은 입력 데이터를 일정한 크기의 chunk로 분할하는 전략입니다. 예를 들어, 입력 문장을 50개의 토큰으로 나눌 수 있습니다. 문장 경계를 기준으로 Chunking: 문장 경계를 인식하여 데이터를 분할하는 전략입니다. 마침표, 물음표, 느낌표 등의 문장 경계를 기준으로 문장을 분할합니다. 주제나 의도를 기준으로 Chunking: 데이터를 주제나 의도에 따라 분할하는 전략입니다. 대화 시나리오에서..