PySpark

``python，from pyspark import SparkContext，，sc = SparkContext("local", "MapReduceExample")，，# 读取数据，data = sc.textFile("input.txt")，，# Map阶段，map_result = data.flatMap(lambda line: line.split(" "))，，# Reduce阶段，reduce_result = map_result.map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)，，# 输出结果，reduce_result.saveAsTextFile("output")，`，，这段代码首先从input.txt文件中读取数据，然后使用flatMap函数将每行文本拆分为单词，接着使用map函数为每个单词创建一个键值对（单词，1），最后使用reduceByKey函数对相同键的值进行累加，并将结果保存到output`文件夹中。