AI&ML
-
Azure Cognitive Search (애저 인지 검색)AI&ML 2023. 5. 4. 21:43
Azure Cognitive Search(애저 인지 검색)은 마이크로소프트 애저가 제공하는 클라우드 기반 검색 서비스입니다. 응용프로그램 및 웹 사이트에 강력한 검색 기능을 추가하여 사용자가 관련 정보를 빠르게 찾을 수 있도록 합니다. Azure Cognitive Search는 다음과 같은 검색 환경을 사용자 지정할 수 있는 몇 가지 기능을 제공합니다: - 인덱스 검색: 텍스트, 숫자 및 지리공간 데이터를 포함하여 검색할 데이터를 정의하는 검색 색인을 만들 수 있습니다. - 검색 쿼리: 검색 쿼리를 사용하여 검색 용어, 필터 및 정렬 옵션을 포함한 검색 기준을 정의할 수 있습니다. - 스킬 세트: 기술 집합을 사용하여 주요 구문, 엔티티 및 감정 분석과 같은 추가 정보를 데이터에서 추출할 수 있습니다. ..
-
나의 TXT 데이터를 OpenAI를 이용하여 FastAPI로 서비스해보자!AI&ML 2023. 5. 3. 00:10
안녕하세요. LLM 모델인 chat gpt 를 활용해서 나만의 텍스트 데이터를 OpenAI를 연동해서 질문해 보는 서비스를 만들어 보겠습니다. 간단하게 파이썬을 이용해서 아래와 같은 순서로 작업합니다. 필요한 라이브러리를 설치해줍니다. openai 같은 LLM 모델들을 이용해서 애플리케이션을 개발하는데 유용한 Langchain 라이브러리를 이용합니다. from fastapi import FastAPI ,File, UploadFile , Request from pydantic import BaseModel from langchain.document_loaders import DirectoryLoader, TextLoader from langchain.text_splitter import CharacterT..
-
챗GPT 생성AI의 시대 - 기본개념 이해하기AI&ML 2023. 4. 15. 16:57
오랜만에 블로그를 합니다. 그동안, 타회사내에 MLOps 구축관련 업무 때문에 3-4월이 후딱 지나가 버렸네요. 요즘은, 올해는 진짜 생성AI의 시대입니다. GPT라고 하면, 이름에서 알 수 있듯이, Generative (생성하는) Pre-trained (사전 학습된) Transformer (트랜스포머) 입니다. Transformer 란 2017년에 구글에서 제시된 기계번역을 위한 Language 모델이라고 하는데요. 트랜스포머(Transformer)는 인공지능에서 자연어 처리를 하는데 사용되는 모델 중 하나입니다. 이 모델은 이전에 사용되었던 모델들과는 다르게, RNN이나 LSTM과 같은 순환 신경망 대신 어텐션(Attention)이라는 방법을 사용합니다. 이렇게 하면 이전에 사용되었던 모델보다 더욱 ..
-
Azure AI Form Recognizer를 활용한 영어단어장 만들기AI&ML 2023. 2. 9. 21:42
안녕하세요. 요즘 매일매일 눈을뜨면 새로운 AI서비스들을 테크기업들이 경쟁적으로 내놓고 있습니다. 기계학습을 해서 내가 직접 커스텀한 모델을 생성할수도 있지만, 실제 생활에 적용되는 모델을 만들려면, 많은 양의 양질의 데이터가 있어야합니다. 그래서, 많은 기업들이 대량의 데이터를 활용하여 이미 좋은 모델들을 오픈하고 있습니다. 오늘은 그중에 하나인 Azure AI 서비스중에 하나인 Form Recognizer 를 이용해서 PDF 문서나 이미지에서 글자를 추출하는 서비스를 만들어 볼게요. Azure Portal에서 Cognitive Services 를 생성하고, 미리 빌드된 여러 AI서비스중에 Form Recognizer를 선택하고, Form Recognizer 스튜디오를 열면, 아래와 같이 샘플이 나오고..
-
Github Actions을 이용한 간단한 Docker 빌드/배포 자동화AI&ML 2023. 2. 7. 20:41
GitHub Actions는 CI/CD(Continuous Integration/Continuous Deployment) 플랫폼으로 개발자가 코드를 빌드, 테스트 및 배포하는 작업을 자동화할 수 있습니다. GitHub 저장소에 있는 이벤트에 응답하여 사용자 지정 스크립트 또는 미리 정의된 작업을 실행할 수 있습니다. GitHub Actions 워크플로우는 저장소의 .github/workflows 디렉토리에 있는 yml 파일의 YAML 구문을 사용하여 정의됩니다. 다음은 소스에 대한 푸시 이벤트에 대해 실행하는 간단한 워크플로의 예를 보여드릴게요. name: CI on: push: branches: - main jobs: build: runs-on: ubuntu-latest steps: - name: Ch..
-
Hugging Face 로 AI 모델 맛보기!!AI&ML 2023. 2. 5. 22:46
챗GPT를 비롯하여 최근에 AI 열풍이 핫하다. 2000년대 초반 닷컴 버블에 비유하는 사람들도 있다. 그 열풍은 주식시장에서 비슷하긴하다. AI를 적용한다는 발표만해도 미국 주식중에 몇십%씩 폭등하는 종목들도 허다하다. 그 모습이 이전에 닷컴버블과 유사하다고 생각하는 사람들이 있는건 어찌보면 당연한 현상인듯 하다. 현존하는 AI 기술이 챗GPT같은 NLP기반의 대화형 모델만 있는것은 아니다. 여러가지 많은 모델들(pre-trained)이 공개되어 있고, 그런 것들을 맛볼수 있는 사이트도 있다. 오늘 소개할 Hugging Face라는 사이트이다. 여러가지 공개된 AI모델들이 등록되어 있는, 커뮤니티 사이트이다. 아래 링크에서 확인할수 있다. https://huggingface.co/ Hugging Fac..
-
초간단한 AI모델 만들기(구글Colab)-Iris.csvAI&ML 2023. 2. 2. 23:13
안녕하세요. 오늘은 간단한 머신러닝을 활용하여 AI모델을 만들어보기로 할께요. AI모델이라고 하면 굉장히 어렵게 느껴지죠. 그렇습니다^^ 저도 아직 배우는 중이라 딥한 내용은 많은 공부가 필요합니다. 하지만, 간단한 AI모델을 실제로 만들어보면, 어느정도 감이 잡힐거에요. 이전에는 개발자 마인드가 강해서 항상 환경을 로컬에 설치해서 테스트를 하는 습관이 있었는데요. 요즘은 어떤시대인가요? 네 그렇습니다. 클라우드의 시대죠.^^ 복잡한 셋팅을 하는데 시간을 낭비하지말고, 이미 만들어진 환경을 가져다 쓰면 되는 시대입니다. 저같은 경우 데이터 분석및 모델 학습을 위해서 Spark 클러스터를 생성해서 테스트를 하면되지만, 간단하게 테스트할때는 이미 만들어진 구글Colab을 사용하는데, 아주 간편하고 쉬워서 좋..
-
일타강사 챗GPT(Chat GPT)를 이용하여 파이썬(python)공부하기!AI&ML 2023. 2. 2. 06:34
챗GPT(Chat GPT)를 이용하여 파이썬을 공부해볼까요? 어쩌면 챗GPT(Chat GPT)는 우리에게 정말 좋은 선생님이 될수도 있습니다. 아래와 같이 질문해 보았습니다. 온라인강의,책,프로젝트가 있다고하는군요. 저는 간단한 기본에 대해서 다시 물어보았습니다. 챗GPT(Chat GPT) 기본적인 개념들을 나열해줍니다. 저는 각 개념들의 샘플코드를 보고 싶어서 아래처럼 질문했습니다. 샘플 코드를 보여드릴게요! 변수: name = "Alice" age = 30 자료형: # 정수 integer = 10 # 문자열 string = "Hello, World!" # 불리언 is_active = True 연산자: a = 5 b = 3 # 덧셈 sum = a + b # 뺄셈 diff = a - b # 곱셈 prod..