duckdb

DuckDB 嵌入式分析数据库

补充说明

duckdb 是进程内 OLAP 数据库，直接读取 CSV/Parquet/JSON，支持 SQL 和列式执行。它适合单机分析、数据探索和轻量 ETL，不需要服务端。

常用示例

duckdb
duckdb app.db
duckdb -c 'SELECT version();'
duckdb -c "SELECT * FROM read_csv_auto('data.csv') LIMIT 10;"
duckdb -c "SELECT * FROM read_parquet('data/*.parquet') LIMIT 10;"
duckdb app.db -c "COPY (SELECT * FROM events) TO 'out.parquet' (FORMAT PARQUET);"
duckdb app.db -c "EXPORT DATABASE 'backup' (FORMAT PARQUET);"
duckdb -c "INSTALL httpfs; LOAD httpfs;"

场景速查

易错点与排错

• DuckDB 是进程内数据库；多进程同时写同一文件会冲突。
• 默认内存限制按机器配置；大文件要设置 memory_limit。
• CSV 自动推断可能猜错类型；生产数据显式指定 schema。
• 扩展需要联网安装；离线环境提前准备。
• 不是高并发服务端数据库；不要把它当 MySQL/PostgreSQL 用。
• 版本升级可能改变文件格式；备份后再升级。
• 大结果集导出要关注磁盘和内存。

相关命令

• duckdb — 分析数据库
• sqlite3 — 嵌入式 OLTP
• trino — 分布式查询