데이터브릭스(databricks)에 쓰이는 매직 명령어(magic command)

데이터브릭에서 매직 명령어(magic command)는 다른 언어로 코드를 실행하거나 특정 작업을 실행하는 데 사용된다. 매직 명령어(magic command)의 구문은 %[command](예: %python 또는 %sql)이다.

Datbricks의 일반적인 매직 명령어(magic command)는 다음과 같다:

%sh: 셸 명령을 실행하는 데 사용됨
%python: Python 코드를 실행하는 데 사용됨
%sql: SQL 쿼리를 실행하는 데 사용됨
%fs: Datbricks 파일 시스템과 관련된 명령을 실행하는 데 사용
%sva, %r: 해당 언어로 코드를 실행하는 데 사용
%run: 노트북 또는 스크립트를 실행하는 데 사용
%md: 마크다운 셀을 만드는 데 사용

%run 명령을 사용하여 사용자 지정 마법 명령을 생성하여 새 마법 명령을 정의하는 스크립트를 실행할 수도 있다.

 

아래는 각각 매직 명령어(magic command)가 어떻게 쓰이는지 간단한 예제를 보여준다.

%sh
ls -ltr

%python
print("Hello, Databricks!")

%sql
SELECT * FROM table

%fs
ls dbfs:/path/to/directory

%scala
val x = 5
val y = 10
val sum = x + y
println(s"Sum of $x and $y is $sum")

%r
library(ggplot2)
ggplot(mtcars, aes(x = wt, y = mpg)) + geom_point()

%run /path/to/notebook or script

%md
This is markdown cell

이런 매직명령어는 많은 장점이 있다.

사용 편의성: Magic 명령은 여러 언어로 코드를 실행할 수 있는 간단하고 직관적인 방법을 제공하여 사용자가 단일 노트북 내에서 언어를 전환하고 다양한 작업을 쉽게 수행할 수 있도록 한다.

성능 향상: Magic 명령은 사용자가 당면한 작업에 적합한 언어로 코드를 실행할 수 있도록 하여 성능을 향상시킬 수 있다. 예를 들어 %sql magic 명령을 사용하여 SQL 쿼리를 실행하는 것이 Python 또는 Scala에서 동일한 쿼리를 실행하는 것보다 효율적일 수 있다.

코드 구성: Magic 명령은 사용되는 언어와 코드의 목적을 명확하게 표시함으로써 코드를 구성하고 더 읽기 쉽게 만드는 데 도움이 된다.

더 나은 통합: Magic 명령어을 사용하면 다양한 언어와 기술 간의 통합이 향상되어 사용자가 다양한 언어로 코드를 쉽게 실행하고 동일한 노트북 내의 다양한 데이터 소스에 액세스할 수 있다.

사용자 지정: Magic 명령어는 새 명령을 만들어 쉽게 사용자 지정할 수 있다. 이를 통해 유연성이 향상되고 반복 작업을 자동화하거나 사용자 정의 워크플로우를 만드는 데 특히 유용할 수 있다.

협업: Magic 명령어는 코드가 언어와 목적별로 명확하게 분리되고 구성되어 다른 사람들이 쉽게 노트를 이해하고 기여할 수 있도록 하기 때문에 여러 사람이 노트북에서 공동 작업을 쉽게 할 수 있다.

다양성: Magic 명령어는 언어 간 전환, 셸 명령 실행, 스크립트 실행, 마크다운 셀 생성 등을 쉽게 제공한다.