분류 전체보기
-
파이썬 Streamlit 를 사용해서 간편하게 Web UI를 작성해보자!Python 2023. 5. 9. 22:12
Streamlit은 웹 애플리케이션을 구축하기 위한 Python 라이브러리입니다. 웹 개발 경험 없이도 빠르고 쉽게 웹 애플리케이션을 만들고 공유할 수 있습니다. Streamlit의 주요 이점은 단순성과 사용 편의성입니다. Streamlit을 사용하면 몇 줄의 Python 코드만으로 데이터 기반 웹 애플리케이션을 구축하고 배포할 수 있습니다. 웹 개발의 많은 복잡성을 추상화하여 데이터와 분석에 집중할 수 있습니다. Streamlit은 웹 콘텐츠를 생성하는 파이썬 코드를 작성할 수 있게 동작합니다. 데이터 분석 및 기계 학습을 위해 표준 Python 라이브러리를 사용한 다음 Streamlit을 사용하여 대화형 웹 앱에 결과를 표시할 수 있습니다. 슬라이더, 드롭다운 및 텍스트 상자와 같은 위젯을 포함하여 ..
-
Azure Cognitive Search (애저 인지 검색)AI&ML 2023. 5. 4. 21:43
Azure Cognitive Search(애저 인지 검색)은 마이크로소프트 애저가 제공하는 클라우드 기반 검색 서비스입니다. 응용프로그램 및 웹 사이트에 강력한 검색 기능을 추가하여 사용자가 관련 정보를 빠르게 찾을 수 있도록 합니다. Azure Cognitive Search는 다음과 같은 검색 환경을 사용자 지정할 수 있는 몇 가지 기능을 제공합니다: - 인덱스 검색: 텍스트, 숫자 및 지리공간 데이터를 포함하여 검색할 데이터를 정의하는 검색 색인을 만들 수 있습니다. - 검색 쿼리: 검색 쿼리를 사용하여 검색 용어, 필터 및 정렬 옵션을 포함한 검색 기준을 정의할 수 있습니다. - 스킬 세트: 기술 집합을 사용하여 주요 구문, 엔티티 및 감정 분석과 같은 추가 정보를 데이터에서 추출할 수 있습니다. ..
-
나의 TXT 데이터를 OpenAI를 이용하여 FastAPI로 서비스해보자!AI&ML 2023. 5. 3. 00:10
안녕하세요. LLM 모델인 chat gpt 를 활용해서 나만의 텍스트 데이터를 OpenAI를 연동해서 질문해 보는 서비스를 만들어 보겠습니다. 간단하게 파이썬을 이용해서 아래와 같은 순서로 작업합니다. 필요한 라이브러리를 설치해줍니다. openai 같은 LLM 모델들을 이용해서 애플리케이션을 개발하는데 유용한 Langchain 라이브러리를 이용합니다. from fastapi import FastAPI ,File, UploadFile , Request from pydantic import BaseModel from langchain.document_loaders import DirectoryLoader, TextLoader from langchain.text_splitter import CharacterT..
-
파이썬 에러 ERROR 해결 및 사용팁Python 2023. 4. 27. 21:48
1.VS코드에서 여러버전의 파이썬을 사용하고 있을때 버전 바꾸는 법 2.파이썬 설치시 Path는 아래에 체크박스를 선택해준다. 3.pip 으로 패키지 설치시 에러시 wheel setuptools pip 업그레이드 pip install wheel setuptools pip --upgrade 4.pip install dotenv 시 error 발생 pip install python-dotenv dotenv 이 아니고 python-dotenv 인데 10분째 삽질하다 찾아냄.ㅠ
-
Databricks 주요기능/Control&Data Planes/Driver ExcutorsData 2023. 4. 17. 12:28
데이터브릭스는 데이터 과학 및 머신러닝 작업을 위한 클라우드 기반 플랫폼으로, 다양한 기능을 제공합니다. Workspace: 데이터브릭스에서는 공유 작업환경을 제공하는 Workspace 기능을 제공합니다. 이를 통해 여러 사용자가 하나의 작업환경에서 공동 작업을 할 수 있습니다. Repo: 데이터브릭스에서는 코드 버전 관리 및 협업을 위한 Repo 기능을 제공합니다. 이를 통해 코드의 변경 사항을 추적하고, 이전 버전으로 롤백할 수 있습니다. Data: 데이터브릭스에서는 다양한 데이터소스를 지원하며, 이를 쉽게 로드하고 가공할 수 있는 Data 기능을 제공합니다. 이를 통해 데이터 과학 및 머신러닝 작업을 위한 데이터를 쉽게 수집, 가공 및 저장할 수 있습니다. Compute: 데이터브릭스에서는 다양한 ..
-
챗GPT 생성AI의 시대 - 기본개념 이해하기AI&ML 2023. 4. 15. 16:57
오랜만에 블로그를 합니다. 그동안, 타회사내에 MLOps 구축관련 업무 때문에 3-4월이 후딱 지나가 버렸네요. 요즘은, 올해는 진짜 생성AI의 시대입니다. GPT라고 하면, 이름에서 알 수 있듯이, Generative (생성하는) Pre-trained (사전 학습된) Transformer (트랜스포머) 입니다. Transformer 란 2017년에 구글에서 제시된 기계번역을 위한 Language 모델이라고 하는데요. 트랜스포머(Transformer)는 인공지능에서 자연어 처리를 하는데 사용되는 모델 중 하나입니다. 이 모델은 이전에 사용되었던 모델들과는 다르게, RNN이나 LSTM과 같은 순환 신경망 대신 어텐션(Attention)이라는 방법을 사용합니다. 이렇게 하면 이전에 사용되었던 모델보다 더욱 ..
-
[Azure Clound] 리눅스(Ubuntu) VM 5분만에 설치하기Azure 2023. 2. 12. 13:55
안녕하세요. 오늘은 리눅스 VM을 클라우드에서 간단하게 설치하고, 리모트로 접속하는 방법을 알아보겠습니다. 맨처음 Azure Portal에서 Create Virtual Machine을 선택합니다. Region을 한국으로 선택합니다. Image는 원하는 리눅스로 선택하시고, size에 따라서 비용이 틀려지니 적절하게 선택을 합니다. 리모트로 접속하기위해서 포트를 오픈합니다. Putty 로 접속하기위해서 다운로드해서 설치합니다. 그리고, putty를 설치하면 키 제너레이터가 함께 설치됩니다. 리눅스 설치시에 받은 .pem 파일을 키 제너레이터를 통해서 .ppk 파일로 변환합니다. 변환이 완료된다음, putty를 실행합니다. Host와 변환한 ppk 파일을 설정하고,접속하면 username 을 입력하라는 입력..
-
Azure AI Form Recognizer를 활용한 영어단어장 만들기AI&ML 2023. 2. 9. 21:42
안녕하세요. 요즘 매일매일 눈을뜨면 새로운 AI서비스들을 테크기업들이 경쟁적으로 내놓고 있습니다. 기계학습을 해서 내가 직접 커스텀한 모델을 생성할수도 있지만, 실제 생활에 적용되는 모델을 만들려면, 많은 양의 양질의 데이터가 있어야합니다. 그래서, 많은 기업들이 대량의 데이터를 활용하여 이미 좋은 모델들을 오픈하고 있습니다. 오늘은 그중에 하나인 Azure AI 서비스중에 하나인 Form Recognizer 를 이용해서 PDF 문서나 이미지에서 글자를 추출하는 서비스를 만들어 볼게요. Azure Portal에서 Cognitive Services 를 생성하고, 미리 빌드된 여러 AI서비스중에 Form Recognizer를 선택하고, Form Recognizer 스튜디오를 열면, 아래와 같이 샘플이 나오고..