spark在 python 中运用_spark os.system-CSDN博客

网站介绍:文章浏览阅读638次。RDD属性。只读:不能修改,只能通过转换操作生成新的 RDD。分布式:可以分布在多台机器上进行并行处理。弹性:计算过程中内存不够时它会和磁盘进行数据交换。基于内存:可以全部或部分缓存在内存中,在多次计算间重用# -*- coding: utf-8 -*-# uptime 8 月 26import requests# v36 二级违禁专项排查import timeimport jsonimport MySQLdb,zlibimport osimport syssys.path._spark os.system