Spark 썸네일형 리스트형 [airflow] Mac OS airflow 설치 pip3 이 설치되어있고 python 버전이 3.6이상일때 pip3 install airflow 설치가 완료되면 airflow db init airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin airflow db init 명령어를 실행하고 user 를 등록해준다. airflow webserver -p 8080 명령어를 실행하고 localhost:8080 으로 들어가서 위에서 생성한 계정으로 로그인하면 airflow 가 정상적으로 설치된것을 확인 할 수 있다 이제 대그 파일을 쓰면된다. Mac OS 에서 Spark 설치하기 방법은 홈페이지에서 설치하는 것과 Homebrew 를 사용하는 방법이 있는데 brew 로 설치할 것이다. $ brew install apache-spark $ spark-shell 혹시나 다음과 같은 에러 발생 시 22/02/08 23:25:27 ERROR SparkContext: Error initializing SparkContext. java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries (on a random free port)! Consider explicitly setting the appropriate binding address for the service 'spa.. 이전 1 다음
