Ubuntu上Spark与Hive的数据交互（Spark连接Hive的metastore）

Ubuntu上Spark与Hive的数据交互主要依赖于Spark的Hive支持库，即pyspark.sql.hive.HiveContext。 以下是一些基本步骤和示例代码，可帮助您使用 Spark 与 Ubuntu 上的 Hive 进行交互。

安装和配置

安装 Spark 和 Hadoop：请验证 Ubuntu 上是否安装了 Spark 和 Hadoop。 安装信息请参考官方文档。
配置环境变量：设置HADOOP_HOME和SPARK_HOME环境变量，以便Spark能够找到Hadoop和Hive相关文件。
启动Hive服务：在Ubuntu上启动Hive服务。 通常，您会使用 hive --service metastore & 命令。

使用 Spark 与 Hive 交互

导入所需的库：在 Python 脚本中导入所需的库。

来自 pyspark.sql 导入 SparkSession
来自 pyspark.sql.types 导入 StructType、StructField、StringType, IntegerType

Create SparkSession：创建用于与 Hive 交互的 SparkSession 对象。

spark = SparkSession \
 .builder \
 .appName("Spark Hive 示例") \
 .config("spark.sql.warehouse.dir", "/user/hive/仓库") \
 .enableHiveSupport() \
 .getOrCreate()

注意：spark.sql.配置项指定Hive元数据的存储路径。
3.读取Hive表：使用spark.sql()方法读取Hive表中的数据。

# 从Hive表中读取数据
df =spark.sql("从 your_hive_table 选择 *")

# 显示前几行数据
df.show()

写入Hive 表：将 Spark DataFrame 写入 Hive 表。

# 创建 Spark 数据框
data = [("爱丽丝", 34), ("鲍勃", 45), ("凯西", 29) ] 
schema = StructType([StructField("名称", StringType(), True ), StructField ("年龄", IntegerType(), True)])
df = spar .createDataFrame （数据，模式）

# 将 DataFrame 写入 Hive 表
df.write.mode("overwrite").insertInto ("your_hive_table")