频道导航

PostgreSQL和S3QL用于存储/访问大量数据

2020-08-09 Postgre SQL 前端之家

前端之家收集整理的这篇文章主要介绍了PostgreSQL和S3QL用于存储/访问大量数据，前端之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。

我们目前正在亚马逊的EC2上使用Postgres 9,并且对性能非常满意.现在我们正在考虑向Postgres添加大约2TB的数据,这比我们的EC2小实例可以容纳的大.

我找到了S3QL并且正在考虑将它与将Postgres数据目录移动到S3存储一起使用.有没有人有这样做的经验？我主要关心的是性能(频繁读取,写频率较低).欢迎任何建议,谢谢.

解决方法

我的建议是“不要那样做”.我对你的问题的上下文一无所知,但我想解决方案不必涉及通过Postgresql进行批量数据处理.网格处理系统发明的全部原因是为了解决分析大数据集的问题.我认为您应该考虑构建一个遵循标准BI实践的系统来提取维度数据.然后获取该规范化数据,并假设它仍然非常大,将其加载到Hadoop / Pig中.在那里进行分析和汇总.将生成的聚合数据转储到文件中,并将其加载到维度数据库旁边的PG数据库中.

上一篇：postgresql – 如何让Npgsql与EF4一下一篇：PostgreSQL查询中每个月的平均最近

猜你在找的Postgre SQL相关文章

PosegreSQL基础回顾(第 4 章 SQL语法)

来源：http://www.postgres.cn/docs/11/ 4.1.1. 标识符和关键词 SQL标识符和关键...

作者：前端之家时间：2020-11-21

PosegreSQL基础回顾(第 8 章数据类型)

来源：http://www.postgres.cn/docs/11/ 8.1. 数字类型数字类型由2、4或8字节的...

作者：前端之家时间：2020-11-21

PosegreSQL基础回顾(第 5 章数据定义)

来源：http://www.postgres.cn/docs/11/ 5.1. 表基础 SQL并不保证表中行的顺序。...

作者：前端之家时间：2020-11-21

PosegreSQL基础回顾(第 6 章数据操纵、第 7 章查询)

来源：http://www.postgres.cn/docs/11/ 6.4. 从修改的行中返回数据有时在修改行...

作者：前端之家时间：2020-11-21

PosegreSQL基础回顾(第 13 章并发控制)

来源：http://www.postgres.cn/docs/11/ 13.2.1. 读已提交隔离级别读已提交是Po...

作者：前端之家时间：2020-11-21

PostgreSQL安装和使用

青岛OJ系统用的关系型数据库是PostgreSQL,为此对PostgreSQL大致了解下。今天的主要话题围...

作者：前端之家时间：2020-11-01

PostgreSQL整体架构

作者：前端之家时间：2020-08-07

为什么选择PostgreSQL而不是MySQL

David Bolton是一名独立开发者，他使用PostgreSQL和MySQL都已有超过十年的时间。近日，他撰...

作者：前端之家时间：2020-08-07

为什么选择PostgreSQL而不是MySQL

David Bolton是一名独立开发者，他使用PostgreSQL和MySQL都已有超过十年的时间。近日，他撰...

作者：前端之家时间：2020-08-07

专访唐成：从小工到专家，PostgreSQL的修炼之道

唐成，拥有十几年数据库、操作系统、存储领域的工作经验。目前任沃趣科技首席数据库架构师...

作者：前端之家时间：2020-08-07

编程分类

MySQL MsSQL Oracle Sqlite Postgre SQL Mariadb MongoDB NoSQL HBase JDBC

最新文章