반응형
Apache Spark 웹 UI에서 "단계 건너 뜀"은 무엇을 의미합니까?
내 Spark UI에서. 건너 뛴다는 것은 무엇을 의미합니까?
일반적으로 캐시에서 데이터를 가져 왔으며 주어진 단계를 다시 실행할 필요가 없음을 의미합니다. 다음 단계에서 셔플 링 ( reduceByKey)이 필요함을 보여주는 DAG와 일치합니다 . 셔플 링이 관련 될 때마다 Spark는 생성 된 데이터를 자동으로 캐시합니다 .
Shuffle은 또한 디스크에 많은 수의 중간 파일을 생성합니다. Spark 1.3부터 이러한 파일은 해당 RDD가 더 이상 사용되지 않고 가비지 수집 될 때까지 보존됩니다. 이는 계보가 다시 계산되는 경우 셔플 파일을 다시 만들 필요가 없도록 수행됩니다.
참고 URL : https://stackoverflow.com/questions/34580662/what-does-stage-skipped-mean-in-apache-spark-web-ui
반응형
'Nice programing' 카테고리의 다른 글
| Elasticsearch의 인증 (0) | 2020.10.19 |
|---|---|
| ES6 게터 / 세터 (화살표 기능 포함) (0) | 2020.10.19 |
| MultipleActiveResultSets = 참 또는 다중 연결? (0) | 2020.10.19 |
| MongoDB 스키마 설계-작은 문서가 많거나 큰 문서가 적습니까? (0) | 2020.10.19 |
| 왜 0.1 + 0.2 == 0.3 in D입니까? (0) | 2020.10.19 |