AWS Redshift 数据仓库

Q: 什么是AWS Redshift 数据仓库？它解决什么问题？

PB 级列式仓库，SQL、Redshift Spectrum（查 S3）和 ML 集成。 它可帮助开发者在不自建基础设施的前提下完成部署、存储与扩展，是云服务选型的核心参考。

Q: AWS Redshift 数据仓库 的最佳实践有哪些？

AWS Redshift 数据仓库 的最佳实践包括：用 Redshift Serverless — 自动伸缩、按查询付费、无容量规划；冷数据用 Spectrum — 直接查 S3、无加载成本；定义排序 + 分配键 — 查询快 10 倍、性能关键。其中首条「用 Redshift Serverless — 自动伸缩、按查询付费、无容量规划」应作为团队默认规范写入 IaC 模板。

PB 级列式仓库，SQL、Redshift Spectrum（查 S3）和 ML 集成。

AWS高级

为什么

Redshift 用 SQL 查 PB 级数据 — 比其他仓库便宜 10 倍。Spectrum 查 S3 无需加载。Serverless 自动伸缩。每 DC2 节点 $0.15/时。

何时使用

大数据集 OLAP/分析、BI 仪表盘和数据湖时用。避免 OLTP（用 RDS）或小数据（用 Athena）。

如何做

1. 集群 — aws redshift create-cluster，节点类型、加密 2. 加载 — COPY 从 S3，比 INSERT 快得多 3. 查询 — SQL 经 psql 或 JDBC/ODBC、Redshift Query Editor 4. Spectrum — 外部表指向 S3，无需加载查询 5. 排序键 — 定义在过滤列，查询快 10 倍 6. 分配键 — 跨节点分散数据、避免倾斜 7. Serverless — 自动伸缩、按查询付费、无集群管理 8. ML — CREATE MODEL，Redshift 在 SQL 中训练和预测

示例

# 创建集群 aws redshift create-cluster \ --cluster-identifier prod-dw \ --node-type ra3.xlplus --number-of-nodes 3 \ --master-username admin --master-user-password ${DB_PASS} \ --encrypted -- 从 S3 加载（比 INSERT 快 10 倍） COPY sales FROM 's3://my-bucket/sales/' \ IAM_ROLE 'arn:aws:iam::123:role/redshift-s3' \ FORMAT AS PARQUET; -- Spectrum — 无需加载查 S3 CREATE EXTERNAL TABLE spectrum.logs (ts timestamp, level varchar, msg varchar) LOCATION 's3://my-bucket/logs/'; SELECT level, count(*) FROM spectrum.logs WHERE ts > '2024-01-01' GROUP BY level;

常见问题

⚠暂停/恢复成本 — 暂停集群仍收存储费、长期不用删除
⚠查询慢 — 检查排序键匹配过滤、分配键避免数据倾斜
⚠并发限制 — 50 并发查询、用 WLM 队列或 Serverless

最佳实践

✓用 Redshift Serverless — 自动伸缩、按查询付费、无容量规划
✓冷数据用 Spectrum — 直接查 S3、无加载成本
✓定义排序 + 分配键 — 查询快 10 倍、性能关键

常见问题解答

什么是AWS Redshift 数据仓库？它解决什么问题？

PB 级列式仓库，SQL、Redshift Spectrum（查 S3）和 ML 集成。它可帮助开发者在不自建基础设施的前提下完成部署、存储与扩展，是云服务选型的核心参考。

如何在 5 分钟内上手AWS Redshift 数据仓库？

两步即可跑通：① 集群 — aws redshift create-cluster，节点类型、加密；② 加载 — COPY 从 S3，比 INSERT 快得多。建议先用免费套餐验证流程，再接入生产环境。