Ubuntu 上的 Spark 和 HBase 数据集成（spark 和 hbase）

Apache Spark和HBase是两个强大的大数据处理工具，可以在Ubuntu系统上进行数据集成。 以下是帮助您使用 Spark 和 HBase 进行数据集成的基本分步指南。

1. 安装所需软件

首先，确保您的系统上已安装 Ubuntu Java（OpenJDK 8 或更高版本）和 Hadoop。 您可以使用以下命令安装 Hadoop：

wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop- 3.3 .1.tar.gz
tar -xzf hadoop-3.3.1.tar.gz
cd hadoop-3.3.1
./configure 
make
sudo make install

接下来，安装 Spark。 您可以从Spark官网下载合适的版本，并根据官方文档进行安装。 以下是下载和解压 Spark 3.3.0 的示例命令：

wget https://downloads.apache.org/spark/spark -3.3。   0/spark-3.3.0-bin-hadoop3.2.tgz
tar -xzf Spark-3.3.0-bin-hadoop3.2.tgz
cd</ spar-3.3.0-bin-hadoop3.2

2. 配置 Spark 和 HBase

编辑 Spark 配置文件 spark-defaults.conf 并添加以下内容来配置您的 Spark 应用程序 配置运行时。环境。

导出 SPARK_HOME=/path/to/your/spark-3.3.0-bin- hadoop3.2
导出 HADOOP_HOME=/path/to/your/hadoop-3.3  .1
导出 PATH=$PATH:$ SPARK_HOME/bin：$HADOOP_HOME 将 /bin

/path/to/your/ 替换为您的 Spark 和 Hadoop 安装路径。

接下来，配置HBase。 编辑 HBase 配置文件 hbase-site.xml 并添加以下内容来配置您的 HBase 集群。

<设置>
 <属性>
 <名称>hbase.rootdir</名称>
<值>hdfs://localhost:9000/hbase</ 值>
 </属性  >
 <属性>
 <名称>hbase.zookeeper.property.dataDir</名称>
 <值>/path/to/your/zk-data</值>
 </属性>
</设置>

将/path/to/your/zk-data 替换为您的实际 Zookeeper 数据目录路径。

3.启动Spark和HBase

启动Zookeeper服务：

$HADOOP_HOME/sbin/start-zookeeper.sh

HBase 启动服务：

$HADOOP_HOME/sbin/start-hbase.sh

启动 Spark Web UI 和 Spark History Server ：

$SPARK_HOME/sbin/start-spark-webui.sh
$SPARK_HOME/sbin/start-history-server.sh
 ]

4.使用PySpark读取HBase数据

现在可以使用PySpark从HBase中读取HBase数据了。下面是示例代码：

 pyspark.sql 导入 SparkSession
来自 pyspark.sql.functions 导入col
 
# 创建 SparkSession
spark = SparkSession.builder \
 appName("Spark HBase 集成") ) \
 .getOrCreate()

# 读取HBase表数据
hbase_data = dark.read \
 .option("表", "your_hbase_table") \
 .option("列", "列1,列2") \
 .option("hbase.columns.mapping") , "cf1:a,cf1:b") \
 。 load ()

# 显示数据
hbase_data.show()

将 your_hbase_table 替换为您的实际 HBase 表名称，并根据需要添加 columns 和 hbase.columns.mapping 选项

<这样，您就可以在Ubuntu系统上使用Spark和HBase集成数据了，根据您的实际需求，您可能需要进一步调整和优化代码和配置。