Spark Kill 실행 애플리케이션

Spark Kill 실행 애플리케이션

---

다른 애플리케이션에 리소스가 할당되지 않는 모든 코어를 차지하는 Spark 애플리케이션이 실행 중입니다.

나는 몇 가지 빠른 조사를 수행했으며 사람들은 YARN kill 또는 / bin / spark-class를 사용하여 명령을 죽일 것을 제안했습니다. 그러나 CDH 버전을 사용하고 있으며 / bin / spark-class는 전혀 존재하지 않으며 YARN kill 응용 프로그램도 작동하지 않습니다.

나와 함께 할 수있는 사람이 있습니까?

---

• 스파크 스케줄러에서 애플리케이션 ID를지나 복사합니다 (예 : application_1428487296152_25597).
• 작업을 시작한 서버에 연결
• yarn application -kill application_1428487296152_25597

---

https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/ResourceManagerRest.html#Cluster_Application_State_API

PUT http : // {rm http 주소 : 포트} / ws / v1 / cluster / apps / {appid} / state

{
  "state":"KILLED"
}

---

YARN에서 모든 애플리케이션 ID를 가져 와서 하나씩 죽이는 데 시간이 오래 걸릴 수 있습니다. 아래와 같이 Bash for 루프를 사용하여이 반복적 인 작업을 빠르고 효율적으로 수행 할 수 있습니다.

ACCEPTED 상태에있는 YARN의 모든 애플리케이션을 종료하십시오.

for x in $(yarn application -list -appStates ACCEPTED | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

RUNNING 상태에있는 YARN의 모든 애플리케이션을 종료하십시오.

for x in $(yarn application -list -appStates RUNNING | awk 'NR > 2 { print $1 }'); do yarn application -kill $x; done

참고 URL : https://stackoverflow.com/questions/29565716/spark-kill-running-application