大数据之SparkStreaming 完整使用 (第十一章)_spark.streaming.receiver.maxrate-CSDN博客

网站介绍:文章浏览阅读451次。数“spark.streaming.receiver.maxRate”的值来实现,此举虽然可以通过限制接收速率,来适配当前。到的数据都作为RDD存在,而DStream是由这些RDD所组成的序列(因此得名“离散化”)。为了更好的协调数据接收速率与资源处理能力,1.5版本开始SparkStreaming可以动态控制。Spark1.5以前版本,用户如果要限制Receiver的数据接收速率,可以通过设置静态配制参。的处理能力,防止内存溢出,但也会引入其它问题。false,即不启用。..._spark.streaming.receiver.maxrate