Azure
-
Databricks 주요기능/Control&Data Planes/Driver ExcutorsData 2023. 4. 17. 12:28
데이터브릭스는 데이터 과학 및 머신러닝 작업을 위한 클라우드 기반 플랫폼으로, 다양한 기능을 제공합니다. Workspace: 데이터브릭스에서는 공유 작업환경을 제공하는 Workspace 기능을 제공합니다. 이를 통해 여러 사용자가 하나의 작업환경에서 공동 작업을 할 수 있습니다. Repo: 데이터브릭스에서는 코드 버전 관리 및 협업을 위한 Repo 기능을 제공합니다. 이를 통해 코드의 변경 사항을 추적하고, 이전 버전으로 롤백할 수 있습니다. Data: 데이터브릭스에서는 다양한 데이터소스를 지원하며, 이를 쉽게 로드하고 가공할 수 있는 Data 기능을 제공합니다. 이를 통해 데이터 과학 및 머신러닝 작업을 위한 데이터를 쉽게 수집, 가공 및 저장할 수 있습니다. Compute: 데이터브릭스에서는 다양한 ..
-
Azure AI Form Recognizer를 활용한 영어단어장 만들기AI&ML 2023. 2. 9. 21:42
안녕하세요. 요즘 매일매일 눈을뜨면 새로운 AI서비스들을 테크기업들이 경쟁적으로 내놓고 있습니다. 기계학습을 해서 내가 직접 커스텀한 모델을 생성할수도 있지만, 실제 생활에 적용되는 모델을 만들려면, 많은 양의 양질의 데이터가 있어야합니다. 그래서, 많은 기업들이 대량의 데이터를 활용하여 이미 좋은 모델들을 오픈하고 있습니다. 오늘은 그중에 하나인 Azure AI 서비스중에 하나인 Form Recognizer 를 이용해서 PDF 문서나 이미지에서 글자를 추출하는 서비스를 만들어 볼게요. Azure Portal에서 Cognitive Services 를 생성하고, 미리 빌드된 여러 AI서비스중에 Form Recognizer를 선택하고, Form Recognizer 스튜디오를 열면, 아래와 같이 샘플이 나오고..
-
Azure IoT Hub Simulator(센서데이터 시뮬레이터)Azure 2023. 1. 15. 17:21
Azure IoT Hub 는 마이크로소프트 Azure가 IoT 장치를 연결, 모니터링 및 관리하기 위해 제공하는 완전 관리 서비스이다. 장치와 클라우드 간의 양방향 통신을 허용하고 장치 프로비저닝, 장치 관리 및 데이터 수집과 같은 기능을 제공한다. 또한 MQTT, AMQP, HTTPS를 포함한 다양한 프로토콜을 지원하며 추가 데이터 처리 및 분석을 위해 Azure Stream Analytics 및 Azure function 과 같은 다른 애저 서비스와 통합할 수 있다. 센서데이터 시뮬레이션 이러한 테스트를 진행할때 실제 디바이스로 연결할수도 있지만, 간단히 온라인이나 직접구현한 시뮬레이터를 사용할수도 있다. 온라인에서 이미 만들어진 시뮬레이션을 이용한다면, Raspberry Pi 온라인 시뮬레이터를 이..
-
DevOps란?Azure 2023. 1. 7. 22:21
데브옵스(DevOps)는 소프트웨어 개발(Dev)과 정보기술 운영(Ops)을 결합하여 새로운 소프트웨어를 개발하고 출시하는 데 걸리는 시간을 단축하는 일련의 자동화된 개발 프로세스이다. DevOps의 목표는 소프트웨어 개발자와 IT 전문가 간의 협업을 개선하여 조직이 소프트웨어 업데이트 및 애플리케이션을 보다 빠르고 안정적으로 제공할 수 있도록 하는 것이다. DevOps 방식에는 버전 제어, 테스트 및 인프라 관리가 포함된다. 조직은 DevOps 방식을 채택함으로써 소프트웨어 개발 및 제공 프로세스의 속도와 안정성을 개선하고 새로운 소프트웨어를 시장에 출시하는 데 걸리는 시간을 줄일 수 있다. Azure DevOps Azure DevOps는 팀이 소프트웨어를 보다 효율적으로 계획, 개발, 제공 및 유지 ..
-
IOT Edge(에지) Linux(리눅스) on Window 10Azure 2022. 12. 5. 21:36
IOT Edge(에지) 리눅스 on Window 는 컨테이너 형태의 IOT 모듈을 실행하게 해주는 리눅스 환경이다. 일단 리눅스 환경에 익숙하지 않은 윈도우 사용자들에게 리눅스 환경을 접근하기 쉽게 해준다. CBL Mariner Linux CBL Mariner 리눅스는 MS에서 컨테이너화된 IOT 모듈을 동작하기위해 최적화되게 만든 리눅스 배포판이라고 한다. 기본적인 리눅스 커널위에 IOT 에지 모듈들을 실행하기 위한 Moby 도커 엔진이 올라가있다. 그리고, 기본 시스템 모듈인 Edge Agent , EgeHub 모듈이 탑재되어 있다. 윈도우 환경에 IOT 에지 환경을 위한 리눅스를 설치하기 위해서는 Hyper-V를 Enable 시켜야한다. Enable-WindowsOptionalFeature -Onl..
-
클라우드 다이어그램을 파이썬 코딩으로 만들어보자 Diagrams유용한정보 2022. 11. 26. 20:59
우리가 제안서나 미팅을 할때 컴퓨팅 리소스에 대한 아키텍처를 작성할때 PPT가 아닌 파이썬 코딩으로 다이어그램 Diagrams 를 만든다면 좀더 쉽게 재사용가능하고 커스터마이징 하기 쉬울 것이다. Diagrams 다이어그램 설치 다이어그램 설치를 위한 공식 홈페이지는 아래와 같다. Diagrams · Diagram as Code (mingrammer.com) Diagrams · Diagram as Code Diagram as Code diagrams.mingrammer.com 상단 메뉴에서 Docs를 선택하면, 설치 방법이 아래처럼 나오게 된다. 아래 다이어그램을 설치하기전에, 파이썬이 3.6이상으로 설치되어 있어야하고, 아래처럼 Graphviz 를 설치해야 한다. Download | Graphviz D..
-
Databricks에서 Azure DataLake Storage Gen2 액세스하기Data 2022. 9. 2. 14:25
다음 3단계 스텝으로 진행하는 방법을 보여준다. Secret 스콥과 Secret을 생성한다. account 키를 사용하여 스파크 세션을 위한 설정을 한다. ADLS Gen3를 액세스한다. 먼저 keyr값을 이용하여 직접액세스하는 것을 보여준다. 먼저 애저의 storage account를 생성하고, 컨테이너를 하나 생성한다. 그리고 아래에서 account key를 이용하여 databricks에서 액세스 할것이기 때문에 키를 복사한다. 데이터브릭스에서 demoCluster 생성 : 14일 무료버전 사용중이고, 데모클러스터는 적당히 생성하였음. 노트북 생성 spark 세션을 구성한다. spark.conf.set("fs.azure.account.key.스토리지어카운트.dfs.core.windows.net","위..