一、Spark简介
Spark是一个用于大规模数据处理的快速、通用、可扩展的集群计算系统，它提供了一个高层次的API,使得用户可以轻松地编写分布式数据处理程序，Spark的核心组件包括RDD(弹性分布式数据集)、DataFrame和DataSet，RDD是Spark中最基本的数据结构，它是一个不可变的、分布式的数据集合，DataFrame和DataSet是基于RDD构建的更高级的抽象，它们提供了更丰富的数据操作和转换功能。
二、安装与配置
1. 下载Spark安装包
访问Apache Spark官网()下载最新版本的Spark安装包，选择合适的版本，然后点击“Download”按钮进行下载。
2. 解压安装包
将下载的压缩包解压到一个合适的目录，例如：C:spark-3.1.2-bin-hadoop3.2。
3. 配置环境变量
在系统环境变量中添加以下两个变量：
- SPARK_HOME:设置为Spark解压后的目录，例如：C:spark-3.1.2-bin-hadoop3.2。
- PATH:将%SPARK_HOME%\bin添加到PATH变量中。
4. 启动Spark
打开命令提示符，输入以下命令启动Spark:
start-master.cmd
5. 启动Spark Worker
在另一个命令提示符窗口中，输入以下命令启动Spark Worker:
start-worker.cmd spark://localhost:7077
Spark已经成功安装并启动，接下来我们将学习如何使用Spark编写程序。
三、编写第一个Spark程序
1. 创建一个Java项目，并添加以下依赖到pom.xml文件中：
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.1.2</version>
</dependency>
</dependencies>
2. 编写一个简单的Java程序，使用Spark API读取文本文件并输出前5行内容：
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.SparkConf;
import java.util.Arrays;
import java.util.List;
public class HelloWorld {
public static void main(String[] args) {
// 初始化Spark配置和上下文对象
SparkConf conf = new SparkConf().setAppName("HelloWorld").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf);
// 读取文本文件并创建RDD对象
JavaRDD<String> lines = sc.textFile("input.txt");
// 对RDD中的每一行进行操作，输出前5行内容
List<String> firstFiveLines = lines.take(5);
System.out.println(firstFiveLines);
// 关闭Spark上下文对象
sc.close();
}
}
3. 将文本文件(input.txt)放在项目的根目录下，如果没有这个文件，可以使用以下代码生成一个包含1到10000的随机数列表：
```java
import java.util.Random;
import java.util.stream.Collectors;
import java.util.stream.IntStream;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.List;
import java.util.ArrayList;
public class RandomNumbersGenerator {
public static void main(String[] args) throws IOException {
int n = 10000; // 需要生成的随机数个数
int min = 1; // 随机数最小值(包含)
int max = n + min; // 随机数最大值(不包含)
int range = max - min + 1; // 需要生成的数字范围大小(每个数字之间的间隔)
int seed = (int) System.currentTimeMillis(); // 作为随机数种子，确保每次运行结果不同，这里使用当前时间作为种子，如果你希望每次运行的结果相同，可以将seed设为固定值，如：seed = Integer.MAX_VALUE; 或者 seed=0;等，但这会导致每次结果都是相同的，所以一般不这样用，这里为了演示目的使用了当前时间，实际开发中通常会使用固定的种子值来保证结果的一致性，但是需要注意的是，如果使用固定值的话，那么每次运行的结果都会是一样的，而如果使用当前时间的话，由于时间是不断变化的，因此每次运行的结果也会有所不同，这就是为什么我们在实际开发中会使用固定的种子值的原因，但是在这里为了演示的目的我们使用了当前时间作为种子值。
原创文章，作者：K-seo，如若转载，请注明出处：https://www.kdun.cn/ask/31460.html
微信扫一扫 