摘要:
本文轉自://tech.meituan.com/spark-tuning-basic.html 感謝原作者 前言 在大數據計算領域,Spark已經成為了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數據領域的離線批處理、SQL類處理、流式/實時計算、機器學習、圖計算等各種 閱讀全文
posted @ 2017-12-11 14:31
^_TONY_^
閱讀(957)
評論(0)
推薦(0)
摘要:
當使用sparkstreaming處理流式數據的時候,它的數據源搭檔大部分都是Kafka,尤其是在互聯網公司頗為常見。 當他們集成的時候我們需要重點考慮就是如果程序發生故障,或者升級重啟,或者集群宕機,它究竟能否做到數據不丟不重呢? 也就是通常我們所說的高可靠和穩定性,通常框架里面都帶有不同層次的消 閱讀全文
posted @ 2017-12-11 13:58
^_TONY_^
閱(yue)讀(2181)
評論(1)
推薦(jian)(0)
