AI&ML
-
간단한 Azure OpenAI 사용하기!AI&ML 2023. 5. 29. 21:29
간단하기 OpenAI를 사용해서 질문을 던져보는 코드를 만들어볼게요. 아래코드는 Azure OpenAI를 사용했습니다. import json import openai import os from dotenv import load_dotenv load_dotenv() 단순히 필요한 패키지를 가져오고 환경 변수를 로드하는 코드입니다. json, openai, os, dotenv 패키지를 가져와서 사용합니다. dotenv 패키지는 .env 파일을 로드하여 환경 변수를 설정하는 데 사용됩니다. 루트디렉토리에 .env 파일을 만들고 필요한 환경변수를 셋팅합니다. config.json 파일을 하나더 만들어서 필요한 환경변수를 셋팅합니다. # Load config values with open(r'config.json..
-
기업환경에서 openAI 보다 Azure OpenAI를 써야하는 이유?AI&ML 2023. 5. 17. 21:16
챗GPT와 같은 LLM 모델이 요즘 핫하다. 대 생성AI 시대라고도 하는데 거의? 지능을 가진 머신이라고 해야하나? 암튼, 정말 기계랑 사람처럼 대화할수 있는 세상이 되었다. 이 엄청난 AI 모델을 기업환경, 즉 비지니스 프로세스에 적용하고 싶어 하는 사람들이 많을것이다. 왜냐?? 돈이 될수도 있기 때문이다. 하지만, 기업의 데이터는 컨피덴셜한 경우가 많다. 보안이 중요하다는 얘기다. 그럼, 이 데이터를 AI가 다 훔쳐가는게 아닐까? 당연히 걱정되는 포인트다. 그럼 이 챗GPT와 같은 API를 사용하기 위해서 openAI사이트에서 유료결재하고, 바로 사용하면 될까? 기업환경이라면, Azure OpenAI를 사용하기를 권장드린다. 아래표는 OpenAI와 Azure OpenAI의 차이점에 대해서 간략하게 설..
-
구글Bard가 챗GPT보다 더 나은데? 구글의 반격AI&ML 2023. 5. 11. 09:10
오늘 아침에 뉴스를 보니 그동안 한글이 지원되지 않았던 구글의 AI모델인 Bard에서 드디어 한글을 지원한다고 합니다. 소식을 듣자마자 바로 사용해봤어요. 챗gtp처럼 글자가 한자씩 말하는것처럼 찍히진 않지만, 한번에 나오는 속도가 빠르게 느껴집니다. 구글 Bard가 좀더 발전된 모습을 보여주는 것이, 새로운 데이터에 대해서도 응답을 해주는 모습이 인상적이었습니다. 오늘 서울의 날씨를 물어보니 아래처럼 응답을 해주더라구요. 챗GTP는 아래처럼 외부 데이터와 단절된것을 알수 있습니다. 그리고 또하나 개발자의 입장에서 보면 괜찮은 기능이, 코드를 물어보고 바로 실행할수 있는 환경을 제공한다는 것인데요. 구글 같은경우 파이썬을 바로 실행해볼수 있는 Colab 환경을 지원하는데요. 놀랍게도 아래처럼 파이썬 함수..
-
Azure Cognitive Search (애저 인지 검색)AI&ML 2023. 5. 4. 21:43
Azure Cognitive Search(애저 인지 검색)은 마이크로소프트 애저가 제공하는 클라우드 기반 검색 서비스입니다. 응용프로그램 및 웹 사이트에 강력한 검색 기능을 추가하여 사용자가 관련 정보를 빠르게 찾을 수 있도록 합니다. Azure Cognitive Search는 다음과 같은 검색 환경을 사용자 지정할 수 있는 몇 가지 기능을 제공합니다: - 인덱스 검색: 텍스트, 숫자 및 지리공간 데이터를 포함하여 검색할 데이터를 정의하는 검색 색인을 만들 수 있습니다. - 검색 쿼리: 검색 쿼리를 사용하여 검색 용어, 필터 및 정렬 옵션을 포함한 검색 기준을 정의할 수 있습니다. - 스킬 세트: 기술 집합을 사용하여 주요 구문, 엔티티 및 감정 분석과 같은 추가 정보를 데이터에서 추출할 수 있습니다. ..
-
나의 TXT 데이터를 OpenAI를 이용하여 FastAPI로 서비스해보자!AI&ML 2023. 5. 3. 00:10
안녕하세요. LLM 모델인 chat gpt 를 활용해서 나만의 텍스트 데이터를 OpenAI를 연동해서 질문해 보는 서비스를 만들어 보겠습니다. 간단하게 파이썬을 이용해서 아래와 같은 순서로 작업합니다. 필요한 라이브러리를 설치해줍니다. openai 같은 LLM 모델들을 이용해서 애플리케이션을 개발하는데 유용한 Langchain 라이브러리를 이용합니다. from fastapi import FastAPI ,File, UploadFile , Request from pydantic import BaseModel from langchain.document_loaders import DirectoryLoader, TextLoader from langchain.text_splitter import CharacterT..
-
챗GPT 생성AI의 시대 - 기본개념 이해하기AI&ML 2023. 4. 15. 16:57
오랜만에 블로그를 합니다. 그동안, 타회사내에 MLOps 구축관련 업무 때문에 3-4월이 후딱 지나가 버렸네요. 요즘은, 올해는 진짜 생성AI의 시대입니다. GPT라고 하면, 이름에서 알 수 있듯이, Generative (생성하는) Pre-trained (사전 학습된) Transformer (트랜스포머) 입니다. Transformer 란 2017년에 구글에서 제시된 기계번역을 위한 Language 모델이라고 하는데요. 트랜스포머(Transformer)는 인공지능에서 자연어 처리를 하는데 사용되는 모델 중 하나입니다. 이 모델은 이전에 사용되었던 모델들과는 다르게, RNN이나 LSTM과 같은 순환 신경망 대신 어텐션(Attention)이라는 방법을 사용합니다. 이렇게 하면 이전에 사용되었던 모델보다 더욱 ..
-
Azure AI Form Recognizer를 활용한 영어단어장 만들기AI&ML 2023. 2. 9. 21:42
안녕하세요. 요즘 매일매일 눈을뜨면 새로운 AI서비스들을 테크기업들이 경쟁적으로 내놓고 있습니다. 기계학습을 해서 내가 직접 커스텀한 모델을 생성할수도 있지만, 실제 생활에 적용되는 모델을 만들려면, 많은 양의 양질의 데이터가 있어야합니다. 그래서, 많은 기업들이 대량의 데이터를 활용하여 이미 좋은 모델들을 오픈하고 있습니다. 오늘은 그중에 하나인 Azure AI 서비스중에 하나인 Form Recognizer 를 이용해서 PDF 문서나 이미지에서 글자를 추출하는 서비스를 만들어 볼게요. Azure Portal에서 Cognitive Services 를 생성하고, 미리 빌드된 여러 AI서비스중에 Form Recognizer를 선택하고, Form Recognizer 스튜디오를 열면, 아래와 같이 샘플이 나오고..
-
Github Actions을 이용한 간단한 Docker 빌드/배포 자동화AI&ML 2023. 2. 7. 20:41
GitHub Actions는 CI/CD(Continuous Integration/Continuous Deployment) 플랫폼으로 개발자가 코드를 빌드, 테스트 및 배포하는 작업을 자동화할 수 있습니다. GitHub 저장소에 있는 이벤트에 응답하여 사용자 지정 스크립트 또는 미리 정의된 작업을 실행할 수 있습니다. GitHub Actions 워크플로우는 저장소의 .github/workflows 디렉토리에 있는 yml 파일의 YAML 구문을 사용하여 정의됩니다. 다음은 소스에 대한 푸시 이벤트에 대해 실행하는 간단한 워크플로의 예를 보여드릴게요. name: CI on: push: branches: - main jobs: build: runs-on: ubuntu-latest steps: - name: Ch..