插入性能缓慢Google Cloud SQL

我有一个简单的pentaho转换:一个来自SQL Server的输入和两个输出,一个到本地MySQL,另一个到Google Cloud MySQL。输入的总行数为3000,共有6列

我的问题是,在Google云中MySQL输出太慢,在插入3000行中的性能是6分钟!但是在本地MySQL输出中性能是1秒。

这个问题有什么原因吗,我可以解决吗?。

Pentaho Transformation image

谢谢!

编辑:

插入之前

Screenshot before insert

插入后

Screenshot after insert

ssywzssywz 回答:插入性能缓慢Google Cloud SQL

在这种情况下,有几件事需要根据Cloud SQL性能进行验证:

  1. 启用锁定监视,该监视可用于性能调整。 Here is how
  2. 如果使用第一代实例,则使用异步模式可能会更快。 Here is how
  3. 检查编写器和数据库的位置;长距离发送数据会导致延迟。
  4. 缓存对于读取性能极为重要,取决于插入查询,该性能可能会发挥作用。整个数据集应适合实例RAM的70%。
  5. 如果查询占用大量CPU并占据了大部分工作负载,则实例可能受到限制; increase the tier
  6. 由于与数据库的连接似乎是通过外部应用程序here is how to set this up properly完成的。需要更多有关连接配置和插入语句的信息,以确定是否确实为其他请求所怀疑的每个请求建立了连接。
  7. 如果使用InnoDB(mandatory for 2nd generation instances and recommended for 1st generation ones),请参考MySQL官方文档中的best practices,以优化性能。
,

您应该将此参数添加到连接参数中: rewriteBatchedStatements = true

这将大大提高插入速度。 检查此以获得更多信息:https://anonymousbi.wordpress.com/2014/02/11/increase-mysql-output-to-80k-rowssecond-in-pentaho-data-integration/

本文链接:https://www.f2er.com/3149779.html

大家都在问