Ubuntu 上的 Spark 和 Elasticsearch（Spark 连接）

在 Ubuntu 上安装和配置 Spark 和 Elasticsearch 需要几个步骤。 这里我们概述一些重要步骤：

安装Java

Spark需要Java环境，所以首先安装Java必须安装。 可以使用以下命令安装 OpenJDK 11：

sudo apt update
sudo apt install openjdk-11-jdk

下载并解压 Spark

接下来，从 Spark 官网下载适合 Ubuntu 的 Spark 版本。 下载并解压到指定目录。 例如，解压到 /opt/spark 目录。

wget https://downloads.apache.org/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz 
tar xzf Spark-3.2.0-bin-hadoop3.2.tgz
sudo mv  dark-3.2.0-bin-hadoop3.2 /opt/spark

Spark环境配置变量

使用Spark来使用它，你需要设置一个环境变量。 编辑 ~/.bashrc 文件并添加以下内容：

export SPARK_HOME=/opt/spark
导出 PATH=$PATH:$SPARK_HOME/bin

接下来，运行 source ~/.bashrc 以启用设置。

Spark。 启动 shell

现在您可以启动 Spark shell：

spark-shell 
。 

安装Elasticsearch

可以使用官方文档提供的命令下载并安装Elasticsearch，这里使用Elasticsearch是因为兼容性比较好。 请注意，使用某些 Spark 组件时，版本

wget https://artifacts.elastic.co /downloads/elasticsearch-7.10.1-。 linux-x86_64.tar.gz
 tar -xzf  elasticsearch-7.10.1-linux-x86_64.tar.gz
sudo mv elasticsearch-7.10.1 /opt/elasticsearch

配置Elasticsearch环境变量

同理，~/.bashrc 编辑文件并添加以下内容：

导出 ELASTICSEARCH_HOME=/opt/elasticsearch
导出 PATH=$路径：$ELASTICSEARCH_HOME/bin

然后运行source ~/.bashrc设置将生效。

启动 Elasticsearch

您现在可以启动 Elasticsearch：

/opt/elasticsearch /bin/elasticsearch

此时，Spark和Elasticsearch正在Ubuntu上运行 已成功安装并进行了基本环境配置。 然后您可以根据您的具体需求进一步配置和使用它。