spark-sql

Spark SQL 命令行

补充说明

spark-sql 是 Spark 的 SQL 交互入口，适合批处理、数据探索和 Hive 表查询。它运行在 Spark 集群或本地模式，依赖 Spark 配置。

常用示例

spark-sql
spark-sql --master local[*]
spark-sql --master yarn --database app
spark-sql -e 'SHOW DATABASES;'
spark-sql -f query.sql
spark-sql --conf spark.sql.shuffle.partitions=200

SHOW DATABASES;
USE app;
SHOW TABLES;
DESCRIBE events;
SELECT count(*) FROM events;
SET spark.sql.shuffle.partitions=200;
EXPLAIN SELECT ...;

易错点与排错

• local[*] 只适合测试；生产用 YARN/K8s/Standalone。
• warehouse 和 metastore 配置决定表位置；默认路径可能写到本地。
• shuffle 分区数过小/过大都会影响性能；按数据量调整。
• 小文件过多会拖慢查询；定期合并。
• 内存不足会导致 spill/OOM；调整 executor memory 和并行度。
• Spark 版本与 Hive metastore/数据源 connector 要兼容。
• 权限和 Kerberos 配置错误会在连接 metastore/HDFS 时暴露。

相关命令

• spark-sql — SQL 入口
• hive — Hive 表
• flink — 流处理