优化 Ubuntu Spark 的环境变量

优化 Ubuntu Spark 环境变量可以提高 Spark 的性能和稳定性。 以下是一些推荐的环境变量设置：

JAVA_HOME：请确保已安装 Java 并且 JAVA_HOME 环境合适。 正确设置变量。 Spark运行在Java中，因此需要设置正确的Java路径。

导出 JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

SPARK_HOME：指向Spark安装目录 设置 SPARK_HOME 环境变量。 。

导出 SPARK_HOME=/opt/spark

HADOOP_HOME（如果使用 Hadoop）：HADOOP_HOME 指向 Hadoop 安装目录 设置环境变量。

导出 HADOOP_HOME=/usr/local/hadoop

PYSPARK_PYTHON：设置PYSPARK_PYTHON。指定用于运行 PySpark 的 Python 解释器的环境变量。

导出 PYSPARK_PYTHON=python3

SPARK_MASTER：设置 Spark 主节点的 URL。 例如，使用本地模式运行 Spark。

导出 SPARK_MASTER=本地 [*]

SPARK_EXECUTOR_MEMORY： 设置每个执行器的内存量。 您可以根据可用内存和应用程序需求进行调整。

导出 SPARK_EXECUTOR_MEMORY=4g

SPARK_EXECUTOR_CORES：设置每个执行器的CPU核心数。 可以根据可用 CPU 核心的数量进行调整。

导出 SPARK_EXECUTOR_CORES=4

SPARK_NUM_EXECUTORS：配置执行机器总数。 您可以根据集群大小和应用程序需求进行调整。

导出 SPARK_NUM_EXECUTORS=10

SPARK_LOG_DIR_EVENTUAL：设置Spark事件日志的存储目录。

导出 SPARK_LOG_DIR_EVENTUAL=/tmp/spark-events

SPARK_CONF_DIR：设置 Spark 配置文件的目录。

导出 SPARK_CONF_DIR=$SPARK_HOME/conf

HADOOP_CONF_DIR（如果使用 Hadoop）：设置目录。 用于 Hadoop 配置文件。

导出 HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop

导出 PYSPARK_PYTHONPATH=$SPARK_HOME/python/lib:$PYSPARK_PYTHONPATH

导出 SPARK_HOME_PREFIX=/usr