<div dir="ltr">Hi, I've got a big data table and I'm having memory allocation issues. This isn't about the memory issue per se, rather it's about how it gets handled.<br><div class="gmail_quote"><div dir="ltr">
<div><br></div><div>The table has 2M+ rows and is about 15G in size. Whilst manipulating the table memory usage grows quite fast, and I'm having to manually garbage collect after each manipulation. Even so it's possibly to reach a point (there are a lot of other developers using this server for all sorts of things) where even though there is 28GB memory free I can't allocate a needed 944MB contiguous chunk.</div>

<div><br></div><div>I get the usual error message and it would be convenient if data table exited at that point (then I wouldn't lose my previous work), but it just hangs:</div><div><br></div><div><div>02-06:30:38.8> dt[,pt:=as.integer(p),by=list(sk, ik, pk)]; gc()</div>

<div>Error: cannot allocate vector of size 944.8 Mb</div></div><div><br></div><div>And the world holds its breath ... and the world starts turning blue ...I've left it like this for hours, nothing further happens.</div>

<div><br></div><div>Windows Server 2008 R2 Enterprise SP1 // Intel Zeon CPU E7-4830 @ 2.13Hhz 4 processors // 128GB memory installed, 28.7GB available, R session 65GB</div><div>R 3.0.0 data.table 1.8.9 rev 874</div><div>
RStudio 0.97</div>
<div><br></div><div>Incidentally, after finishing a table manipulation and garbage collecting the R session memory usage drops to 33GB. This is consistent behaviour, there were 5 similar calls prior to this one that executed successfully, with the same behavior ( garbage collected after each). Almost as if there were a copy being made. But that's for info, not shooting off at a tangent (I'll try and do some investigation and maybe ask for help around the temporary memory growth issue later).</div>

<div><br></div><div>I would be really happy if data table exited on this error or if I had that option, even if it's doing something very clever (waiting for memory availability?) because it doesn't seem to succeed.</div>

<div><br></div><div>Regards</div><span class="HOEnZb"><font color="#888888"><div>Paul</div></font></span></div>
</div><br></div>