@H_301_1@我需要在休眠状态下使用spring数据接收并保存大量数据.我们的服务器分配的RAM不足,无法同时保留所有实体.我们肯定会得到OutOfMemory错误.
@H_301_1@因此,我们需要分批保存数据,这很明显.同样,我们需要使用@Transactional来确保所有数据持久化或非持久化,即使出现单个错误也是如此.
@H_301_1@因此,问题是：@Transactional方法期间的spring数据是否将实体存储在RAM中或被刷新的实体可被垃圾收集器访问？
@H_301_1@那么,用spring数据处理海量数据的最佳方法是什么？春季数据可能不是解决此类问题的正确方法.
最佳答案
@H_301_1@Does spring data during @Transactional method keep storing entities in@H_301_1@实体将继续存储在RAM中(即,在entityManager中),直到清除事务提交/回滚或entityManager.这意味着只有在事务提交/回滚或
RAM or entities which were flushed are accessible to garbage
collector?
调用entityManager.clear(). @H_301_1@
@H_301_1@So,what is the best approach to process huge mount of data with@H_301_1@防止OOM的一般策略是逐批加载和处理数据.在每个批次的末尾,您应该刷新并清除entityManager,以便entityManager可以释放其用于CG的托管实体.常规代码流应如下所示： @H_301_1@
spring data?
@Component
public class BatchProcessor {
//Spring will ensure this entityManager is the same as the one that start transaction due to @Transactional
@PersistenceContext
private EntityManager em;
@Autowired
private FooRepository fooRepository;
@Transactional
public void startProcess(){
processBatch(1,100);
processBatch(101,200);
processBatch(201,300);
//blablabla
}
private void processBatch(int fromFooId,int toFooId){
List<Foo> foos = fooRepository.findFooIdBetween(fromFooId,toFooId);
for(Foo foo :foos){
//process a foo
}
/*****************************
The reason to flush is send the update sql to DB .
Otherwise,the update will lost if we clear the entity manager
afterward.
******************************/
em.flush();
em.clear();
}
}
