분류 전체보기
-
데이터브릭스(databricks) 레이크하우스(Lakehouse)Data 2022. 11. 24. 19:41
데이터브릭스(databricks)는 아파치 스파크 기반의 빅데이터 분석 플랫폼이다. 데이터 엔지니어, 데이터 사이언스, 데이터 분석가가 하나의 플랫폼에서 협업할수 있는 통합분석 플랫폼이다. Databricks 는 빅테크(Azure,AWS,GCP) 클라우드 서비스 플랫폼과 통합되어 서비스 된다. Lakehouse 가 나오게된 배경 데이터브릭스가 내세우는 데이터분석 패러다임이 바로 lakehouse 플랫폼이다. lakehouse 플랫폼이 나오게된 배경은 무엇일까? 무엇이기에 이전에 있던 데이터레이크(data lake)와 다른 것일까? 전통적으로 데이터웨어하우스(data warehouse)에 분석을 위한 데이터를 저장하였는데 이것은 정형데이터 저장에 최적화 되어 있다. 그리고, 데이터 사이언스들이 머신러닝을 ..
-
도커(Docker) Nginx 컨테이너를 이용하여 웹페이지 실행하기Azure 2022. 11. 23. 21:38
Nginx 도커 이미지를 이용하면 쉽게 웹서버를 구성할 수 있다. Nginx를 이용하면 로컬에서 Host 인 내 컴퓨터를 Nginx 웹서버의 루트 디렉토리로 지정하여 웹페이지를 로컬에서 실행해 볼수 있다. 도커 허브(Docker Hub) 에 접속하기 https://hub.docker.com/ 도커 허브 검색창에서 nginx 를 검색하면 위이 그림처럼 Nginx Official 도커 이미지가 조회 된다. docker pull nginx 위의 명령어를 커맨드 창에서 실행하면, Nginx 도커 이미지가 로컬에 다운로드 된다. Nginx 컨테이너 실행하기 도커 이미지를 다운로드 받으면, 아래 처럼 로컬에 있는 이미지를 확인할 수 있다. Nginx 도커를 Run 하면 아래와 같은 실행을 위한 설정 창이 뜨게 된다..
-
Docker 도커 컨테이너 로컬 환경 설치Azure 2022. 11. 22. 10:13
도커(Docker) 가 나오게 된 배경을 간단하게 알아보고, 도커와 컨테이너 그리고 VM과 다른 점을 이해하고, 내 컴퓨터에서 도커를 개발하기 위해 도커 엔진을 설치하는 법을 5분이면 이해할 수 있게 설명하였다. 도커(Docker)가 나오게된 배경 개발자 입장에서 보면, 일반적으로 프로젝트에 투입되고, 일주일은 개발환경 셋팅 하는데 시간을 보낸다 라는 말이 있다. 그만큼 개발환경 셋팅이 어렵고, 많은 소프트웨어를 설치해야 하고, 환경설정을 맞추는데 많은 시간과 비용이 든다. 개발을 하다 보면 여러 다른 라이브러리들을 설치하고 설정 값들이 변하게 된다. 이렇게 복잡한 환경에서 개발한다음 서버에 배포를 해야 한다고 생각하면 아마 배포 담당자는 서버에 같은 환경을 설치하는데 엄청나게 골치가 아플 것이다. 그래..
-
머신러닝 이해하기 - 랜덤변수,확률분포AI&ML 2022. 11. 18. 21:35
최근에 머신러닝에 대한 관심이 많아지면서, 나 같은 일반인이 겁없이ㅋㅋ 머신러닝에 도전하다가 벽에 부딪히곤하는데 그것이 바로 확률과 통계와 같은 수학의 개념을 알아야하기 때문인것 같다. 이 말을 듣는 순간 바로 포기하는 사람이 있을지도 모르겠다. 나도 그 많은 수포자중에 하나였으니^^ 하지만, 약간의 희망이 있을지도 모르겠다. 확률의 모든 개념을 100%이해하지 못하더라도, 머신러닝과 관련된 개념들만이라도 조금씩 살펴보면 기본적인 머신러닝을 이해할수 있을거라 생각한다. 아래는 가장 기초적인 개념이다. 💡 랜덤변수,확률변수 랜덤변수 : 어떤 사건에 대해서 값이 달라지는 변수. 여기서 변수는 함수를 나타낸다. 확률변수 : 어떤 사건에 대한 변수를 상수처럼 나타내는것 F(A) = 0.1 A는 주사위 1이 나오..
-
나만의 홈페이지 만들기-07 [마스터페이지&페이지Route]React 2022. 10. 4. 22:04
마스터페이지를 만들어서 내부의 컨텐츠 컴포넌트만 변경하기 위해 작업 Layout.js 를 추가한다. import React from 'react' import Navbar from 'react-bootstrap/Navbar'; import Container from 'react-bootstrap/Container'; export default function Layout(props) { return ( header {props.children} footer ) } props 파라미터를 이용해서 부모페이지 안쪽에 들어갈 자식 컴포넌트를 선언해준다. props.children 은 Layout tag 안에 들어올 컴포넌트를 말한다. 위처럼 부모 컴포넌트를 만들고 다른컴포넌트를 감싸주면 {getResult &&..
-
나만의 홈페이지 만들기-06 [파라미터 props 전달하기]React 2022. 9. 8. 19:00
하위 컴포넌트에 파라미터를 전달할때 props를 사용한다. 이전에 만든 카드리스트를 별도의 컴포넌트 CardList로 만들어서 Row를 props로 전달해보자. import React from 'react' import Card from 'react-bootstrap/Card'; import Col from 'react-bootstrap/Col'; export default function CardList({list}) { return ( {list.displayName} {list.category} Last updated 3 mins ago ) } 파라미터로 list를 받는다. app.js 에서 아래와 같이 값을 전달한다. {getResult && getResult.map((r) => // // // ..
-
나만의 홈페이지 만들기-05 [오픈API 호출하여 카드리스트디자인적용]React 2022. 9. 6. 20:31
자바스크립트는 API 데이터를 연동하기 위해서 주로 두개의 라이브러리를 이용한다. 하나는 Fetch API 그리고 다른하나는 Axios 이다. 앞에건 빌트인 라이브러리이고, Axios는 외부 라이브러리이다. 차이저은 잘설명되어 있는 링크를 참고한다. https://velog.io/@shin6403/React-axios%EB%9E%80-feat.-Fetch-API React | axios란? (feat. Fetch API) # Intro 리액트는 효율적인 UI 구현을 위한 라이브러리이다. HTTP Client(HTTP 상에서 커뮤니케이션을 하는 자바 기반 컴포넌트)를 내장하고 있는 Angular와는 다르게, 리액트는 따로 내장 클래스가 존재 velog.io 공공데이터중에 테스트에 활용할만한 API를 탐색한..