您好,欢迎来到花图问答。
搜索
您的当前位置:首页Spark Shuffle演进

Spark Shuffle演进

来源:花图问答
  • ShuffleManager
    • HashShuffleManager
    • SortShuffleManager
    • UnSafeShuffleManager

历史演进

  • Hash Based Shuffle V1 (M * R)
  • Hash Based Shuflle V2 (C * R)
  • Sort Based Shuflle (M)
  • Tungsten-Sort Based Shuffle (二进制存储,agg,partition num)
  • Tungsten-sort并入Sort Based Shuffle
  • Hash Based Shuffle退出历史舞台

Copyright © 2019- huatuowenda.com 版权所有 湘ICP备2023022495号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务