전체 글
-
Databricks 주요기능/Control&Data Planes/Driver ExcutorsData 2023. 4. 17. 12:28
데이터브릭스는 데이터 과학 및 머신러닝 작업을 위한 클라우드 기반 플랫폼으로, 다양한 기능을 제공합니다. Workspace: 데이터브릭스에서는 공유 작업환경을 제공하는 Workspace 기능을 제공합니다. 이를 통해 여러 사용자가 하나의 작업환경에서 공동 작업을 할 수 있습니다. Repo: 데이터브릭스에서는 코드 버전 관리 및 협업을 위한 Repo 기능을 제공합니다. 이를 통해 코드의 변경 사항을 추적하고, 이전 버전으로 롤백할 수 있습니다. Data: 데이터브릭스에서는 다양한 데이터소스를 지원하며, 이를 쉽게 로드하고 가공할 수 있는 Data 기능을 제공합니다. 이를 통해 데이터 과학 및 머신러닝 작업을 위한 데이터를 쉽게 수집, 가공 및 저장할 수 있습니다. Compute: 데이터브릭스에서는 다양한 ..
-
챗GPT 생성AI의 시대 - 기본개념 이해하기AI&ML 2023. 4. 15. 16:57
오랜만에 블로그를 합니다. 그동안, 타회사내에 MLOps 구축관련 업무 때문에 3-4월이 후딱 지나가 버렸네요. 요즘은, 올해는 진짜 생성AI의 시대입니다. GPT라고 하면, 이름에서 알 수 있듯이, Generative (생성하는) Pre-trained (사전 학습된) Transformer (트랜스포머) 입니다. Transformer 란 2017년에 구글에서 제시된 기계번역을 위한 Language 모델이라고 하는데요. 트랜스포머(Transformer)는 인공지능에서 자연어 처리를 하는데 사용되는 모델 중 하나입니다. 이 모델은 이전에 사용되었던 모델들과는 다르게, RNN이나 LSTM과 같은 순환 신경망 대신 어텐션(Attention)이라는 방법을 사용합니다. 이렇게 하면 이전에 사용되었던 모델보다 더욱 ..
-
[Azure Clound] 리눅스(Ubuntu) VM 5분만에 설치하기Azure 2023. 2. 12. 13:55
안녕하세요. 오늘은 리눅스 VM을 클라우드에서 간단하게 설치하고, 리모트로 접속하는 방법을 알아보겠습니다. 맨처음 Azure Portal에서 Create Virtual Machine을 선택합니다. Region을 한국으로 선택합니다. Image는 원하는 리눅스로 선택하시고, size에 따라서 비용이 틀려지니 적절하게 선택을 합니다. 리모트로 접속하기위해서 포트를 오픈합니다. Putty 로 접속하기위해서 다운로드해서 설치합니다. 그리고, putty를 설치하면 키 제너레이터가 함께 설치됩니다. 리눅스 설치시에 받은 .pem 파일을 키 제너레이터를 통해서 .ppk 파일로 변환합니다. 변환이 완료된다음, putty를 실행합니다. Host와 변환한 ppk 파일을 설정하고,접속하면 username 을 입력하라는 입력..
-
Azure AI Form Recognizer를 활용한 영어단어장 만들기AI&ML 2023. 2. 9. 21:42
안녕하세요. 요즘 매일매일 눈을뜨면 새로운 AI서비스들을 테크기업들이 경쟁적으로 내놓고 있습니다. 기계학습을 해서 내가 직접 커스텀한 모델을 생성할수도 있지만, 실제 생활에 적용되는 모델을 만들려면, 많은 양의 양질의 데이터가 있어야합니다. 그래서, 많은 기업들이 대량의 데이터를 활용하여 이미 좋은 모델들을 오픈하고 있습니다. 오늘은 그중에 하나인 Azure AI 서비스중에 하나인 Form Recognizer 를 이용해서 PDF 문서나 이미지에서 글자를 추출하는 서비스를 만들어 볼게요. Azure Portal에서 Cognitive Services 를 생성하고, 미리 빌드된 여러 AI서비스중에 Form Recognizer를 선택하고, Form Recognizer 스튜디오를 열면, 아래와 같이 샘플이 나오고..
-
Github Actions을 이용한 간단한 Docker 빌드/배포 자동화AI&ML 2023. 2. 7. 20:41
GitHub Actions는 CI/CD(Continuous Integration/Continuous Deployment) 플랫폼으로 개발자가 코드를 빌드, 테스트 및 배포하는 작업을 자동화할 수 있습니다. GitHub 저장소에 있는 이벤트에 응답하여 사용자 지정 스크립트 또는 미리 정의된 작업을 실행할 수 있습니다. GitHub Actions 워크플로우는 저장소의 .github/workflows 디렉토리에 있는 yml 파일의 YAML 구문을 사용하여 정의됩니다. 다음은 소스에 대한 푸시 이벤트에 대해 실행하는 간단한 워크플로의 예를 보여드릴게요. name: CI on: push: branches: - main jobs: build: runs-on: ubuntu-latest steps: - name: Ch..
-
Hugging Face 로 AI 모델 맛보기!!AI&ML 2023. 2. 5. 22:46
챗GPT를 비롯하여 최근에 AI 열풍이 핫하다. 2000년대 초반 닷컴 버블에 비유하는 사람들도 있다. 그 열풍은 주식시장에서 비슷하긴하다. AI를 적용한다는 발표만해도 미국 주식중에 몇십%씩 폭등하는 종목들도 허다하다. 그 모습이 이전에 닷컴버블과 유사하다고 생각하는 사람들이 있는건 어찌보면 당연한 현상인듯 하다. 현존하는 AI 기술이 챗GPT같은 NLP기반의 대화형 모델만 있는것은 아니다. 여러가지 많은 모델들(pre-trained)이 공개되어 있고, 그런 것들을 맛볼수 있는 사이트도 있다. 오늘 소개할 Hugging Face라는 사이트이다. 여러가지 공개된 AI모델들이 등록되어 있는, 커뮤니티 사이트이다. 아래 링크에서 확인할수 있다. https://huggingface.co/ Hugging Fac..
-
초간단한 AI모델 만들기(구글Colab)-Iris.csvAI&ML 2023. 2. 2. 23:13
안녕하세요. 오늘은 간단한 머신러닝을 활용하여 AI모델을 만들어보기로 할께요. AI모델이라고 하면 굉장히 어렵게 느껴지죠. 그렇습니다^^ 저도 아직 배우는 중이라 딥한 내용은 많은 공부가 필요합니다. 하지만, 간단한 AI모델을 실제로 만들어보면, 어느정도 감이 잡힐거에요. 이전에는 개발자 마인드가 강해서 항상 환경을 로컬에 설치해서 테스트를 하는 습관이 있었는데요. 요즘은 어떤시대인가요? 네 그렇습니다. 클라우드의 시대죠.^^ 복잡한 셋팅을 하는데 시간을 낭비하지말고, 이미 만들어진 환경을 가져다 쓰면 되는 시대입니다. 저같은 경우 데이터 분석및 모델 학습을 위해서 Spark 클러스터를 생성해서 테스트를 하면되지만, 간단하게 테스트할때는 이미 만들어진 구글Colab을 사용하는데, 아주 간편하고 쉬워서 좋..
-
일타강사 챗GPT(Chat GPT)를 이용하여 파이썬(python)공부하기!AI&ML 2023. 2. 2. 06:34
챗GPT(Chat GPT)를 이용하여 파이썬을 공부해볼까요? 어쩌면 챗GPT(Chat GPT)는 우리에게 정말 좋은 선생님이 될수도 있습니다. 아래와 같이 질문해 보았습니다. 온라인강의,책,프로젝트가 있다고하는군요. 저는 간단한 기본에 대해서 다시 물어보았습니다. 챗GPT(Chat GPT) 기본적인 개념들을 나열해줍니다. 저는 각 개념들의 샘플코드를 보고 싶어서 아래처럼 질문했습니다. 샘플 코드를 보여드릴게요! 변수: name = "Alice" age = 30 자료형: # 정수 integer = 10 # 문자열 string = "Hello, World!" # 불리언 is_active = True 연산자: a = 5 b = 3 # 덧셈 sum = a + b # 뺄셈 diff = a - b # 곱셈 prod..