bq

BigQuery 命令行工具

补充说明

bq 是 Google Cloud SDK 中的 BigQuery 客户端，用来跑查询、建数据集和表、导入导出数据。它支持标准 SQL 和旧的 legacy SQL，新项目应统一用标准 SQL。

常用示例

bq ls
bq ls mydataset
bq query --use_legacy_sql=false \
  'SELECT count(*) FROM `my-project.mydataset.events`'
bq query --dry_run --use_legacy_sql=false \
  'SELECT * FROM `my-project.mydataset.events` LIMIT 10'
bq mk --dataset --location=asia-east1 my-project:mydataset
bq mk --table my-project:mydataset.events schema.json
bq load --source_format=CSV --autodetect \
  my-project:mydataset.events gs://my-bucket/events.csv
bq extract --destination_format=CSV \
  my-project:mydataset.events gs://my-bucket/out-*.csv
bq show my-project:mydataset.events
bq rm -t my-project:mydataset.events

易错点与排错

• 默认可能走 legacy SQL；脚本里显式 --use_legacy_sql=false。
• 表名要用反引号包住完整路径；项目 ID 带连字符时漏引号会解析失败。
• 数据集有 location，跨区域查询和迁移会受限；创建前先定好区域。
• --dry_run 不执行查询，但能看扫描量和语法错误；上线前先跑一次。
• bq load 的 schema 和文件格式必须匹配；自动检测不适合生产级严格校验。
• 分区表和时间分区字段配置错误会导致全表扫描，成本大幅上升。
• 导出到 GCS 的单文件有大小限制；大表用通配符分片。
• 删除表或数据集不可恢复；先确认备份、快照和权限。

相关命令

• gcloud — GCP 资源管理
• gsutil — 导入导出的对象存储