Ubuntu 上 Spark 作业的并行度调整 (spark linux)

在 Ubuntu 上调整 Spark 作业以进行并行处理是一个涉及多个配置参数的过程。 以下是帮助您优化 Spark 作业并行性的重要步骤和要点。

1.配置SparkSession

首先，确保SparkSession配置正确SparkSession。 这是与 Spark 交互的入口点，包含许多用于配置 Spark 应用程序的设置。

来自 pyspark.sql 导入 SparkSession

spark = SparkSession.builder \
 .appName("并行度调整")  \
 .master("local[*]") \
 .getOrCreate()

注意：local[*] 表示使用本地模式并利用尽可能多的可用 CPU 内核。 您可以根据集群的资源调整此设置。

2. 调整并行度参数

Spark 有几个可以影响作业并行度的重要参数。

spark.default.Parallelism：控制 Spark 任务的默认并行度。
spark.sql.shuffle.partitions：控制shuffle操作（例如groupByKey、join）的输出分区数量。
spark.executor.instances：控制 Spark 应用程序中执行器的数量。
spark.executor.cores：控制每个执行器使用的CPU核心数量。
spark.driver.cores：控制驱动程序使用的CPU核心数量。

您可以通过设置这些参数来调整 Spark 作业的并行性。 示例：

spark.conf.set( "spark.default.Parallelism", 10)
spark.conf.设置 ("spark.sql.shuffle.partitions", 20)
spark.conf.设置("spark.executor.instances", 4)
smile.conf.设置("spark.executor.cores", 2)
spark.conf.设置("spark.driver.cores", 1)

3. 监控与调整

当您运行 Spark 作业时，监视其性能并根据需要进行调整非常重要。 您可以使用Spark的Web UI查看作业详细信息，包括任务执行状态、资源使用情况等。

此外，您还可以考虑以下优化策略：

数据倾斜处理：当某些任务的数据量远大于其他任务时，可能会出现数据倾斜。 要解决此问题，请尝试重新分区、过滤倾斜键或使用聚合函数。
调整数据局部性：确保数据尽可能靠近集群中的执行器，以减少数据传输开销。
增加资源：如果您的作业仍然无法达到预期的并行度，您可以考虑增加集群的资源（例如执行器数量或CPU核心数量）。 。

4.注意

调整并行度时，必须权衡作业吞吐量和资源利用率。 过多的并行性可能会导致资源争用和性能不佳。
不同的作业和数据集可能需要不同的并行度设置。 因此，建议您根据自己的具体情况进行调整。
生产期间我们建议您使用集群管理器（YARN、Mesos 等）来管理环境中的 Spark 应用程序，而不是在本地模式下运行它们。 这提高了集群资源利用率并简化了资源管理。