spark
-
Azure Synapse에 있는 Spark 클러스터로 NYC Taxi 데이터 분석Data 2022. 8. 30. 17:42
NYC Taxi 데이터 다운로드 및 Spark 에 데이터 로드 샘플데이터 다운로드 • Download this file to your computer: https://azuresynapsestorage.blob.core.windows.net/sampledata/NYCTaxiSmall/NYCTripSmall.parquet Synapse Studio에서 개발 허브로 이동합니다. 시냅스에 있는 spark notebook 으로 데이터 분석하는 방법 노트북을 오픈하고 spark cluster 를 선택한다. spark cluster 를 활성화 시킨다. 기본 저장소 계정에 샘플 데이터를 배치 했는지 확인 합니다 . 새 노트북을 만듭니다. 새 코드 셀을 만들고 해당 셀에 다음 코드를 붙여넣습니다. %%pyspark d..