到目前为止提供的两种方法在处理大型数据集时都失败了,因为(在其他内存问题中)它们创建了 is.na(df)
,这将是一个与 df
大小相同的对象。
如果我能在其他地方看到它的使用,那么看到一个允许我在开发过程中使用它的示例将是非常好的。
这里有两种更有内存和时间效率的方法
一般时间及记忆效率)library(data.table)
DT <- as.data.table(df)
DT[,which(unlist(lapply(DT, function(x)!all(is.na(x))))),with=F]
使用 Filter
的方法
Filter(function(x)!all(is.na(x)), df)
big_data <- replicate(10, data.frame(rep(NA, 1e6), sample(c(1:8,NA),1e6,T), sample(250,1e6,T)),simplify=F)
bd <- do.call(data.frame,big_data)
names(bd) <- paste0('X',seq_len(30))
DT <- as.data.table(bd)
system.time({df1 <- bd[,colSums(is.na(bd) < nrow(bd))]})
# error -- can't allocate vector of size ...
system.time({df2 <- bd[, !apply(is.na(bd), 2, all)]})
# error -- can't allocate vector of size ...
system.time({df3 <- Filter(function(x)!all(is.na(x)), bd)})
## user system elapsed
## 0.26 0.03 0.29
system.time({DT1 <- DT[,which(unlist(lapply(DT, function(x)!all(is.na(x))))),with=F]})
## user system elapsed
## 0.14 0.03 0.18