<div dir="ltr">Hi Guenter,<div>CC: data.table list,</div><div><br></div><div>I filed this as bug #5305 and now we've now fixed it with commit 1100 v1.8.11. Thank you very much once again for reporting!</div></div><div class="gmail_extra">
<br><br><div class="gmail_quote">On Wed, Jan 22, 2014 at 9:52 PM, "Günter J. Hitsch" <span dir="ltr"><<a href="mailto:guenter.hitsch@mac.com" target="_blank">guenter.hitsch@mac.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
I’ve been using data.table for several months.  It’s a great package—thank you for developing it!<br>
<br>
Here’s my question:  I’ve run into a problem when I use “large” data tables with many millions of rows.  In particular, for such large data tables I get segmentation faults when I create columns by groups.  Example:<br>
<br>
N = 2500                        # No. of groups<br>
T = 100000              # No. of observations per group<br>
<br>
DT = data.table(group = rep(1:N, each = T), x = 1)<br>
setkey(DT, group)<br>
<br>
DT[, sum_x := sum(x), by = group]<br>
print(head(DT))<br>
<br>
This runs fine.  But when I increase the number of groups, say from 2500 to 3000, I get a segfault:<br>
<br>
N = 3000                        # No. of groups<br>
T = 100000              # No. of observations per group<br>
<br>
...<br>
<br>
 *** caught segfault ***<br>
address 0x159069140, cause 'memory not mapped'<br>
<br>
Traceback:<br>
 1: `[.data.table`(DT, , `:=`(sum_x, sum(x)), by = group)<br>
 2: DT[, `:=`(sum_x, sum(x)), by = group]<br>
 3: eval(expr, envir, enclos)<br>
 4: eval(ei, envir)<br>
 5: withVisible(eval(ei, envir))<br>
<br>
<br>
I can reproduce this problem on:<br>
<br>
(1) OS X 10.9, R 3.0.2, data.table 1.8.10<br>
(2) Ubuntu 13.10, R 3.0.1, data.table 1.8.10<br>
<br>
And of course the amount of RAM in my machines is not the issue.<br>
<br>
Thanks in advance for your help with this!<br>
<br>
Günter<br>
<br>
_______________________________________________<br>
datatable-help mailing list<br>
<a href="mailto:datatable-help@lists.r-forge.r-project.org">datatable-help@lists.r-forge.r-project.org</a><br>
<a href="https://lists.r-forge.r-project.org/cgi-bin/mailman/listinfo/datatable-help" target="_blank">https://lists.r-forge.r-project.org/cgi-bin/mailman/listinfo/datatable-help</a><br>
</blockquote></div><br></div>