如何使用multidplyr和parallel连接、分组和汇总R中的大型数据帧
这个问题与R中的其他大数据问题类似，但我找不到一个示例，说明如何合并/连接两个dfs，然后在两个dfs上执行计算，而不是读取大量数据帧并使用McLappy进行计算。这里的问题不是加载数据需要约20分钟，而是合并和汇总 我尝试了我能找到的所有data.table方法、不同类型的联接和ff，但仍然遇到vecseq限制2^31行的问题。现在我尝试使用multidplyr来并行执行，但无法找出错误的来源 数据帧：如何使用multidplyr和parallel连接、分组和汇总R中的大型数据帧,r,parallel-processing,left-join,multidplyr,R,Parallel Processing,Left Join,Multidplyr,这个问题与R中的其他大数据问题类似，但我找不到一个示例，说明如何合并/连接两个dfs，然后在两个dfs上执行计算，而不是读取大量数据帧并使用McLappy进行计算。这里的问题不是加载数据需要约20分钟，而是合并和汇总 我尝试了我能找到的所有data.table方法、不同类型的联接和ff，但仍然遇到vecseq限制2^31行的问题。现在我尝试使用multidplyr来并行执行，但无法找出错误的来源 数据帧： 具有约6500万行cols的物种_数据df第一次加载dplyr和multidplyr li
具有约6500万行cols的物种_数据df第一次加载dplyr和multidplyr
library(tidyverse)
install.packages("devtools")
library(devtools)
devtools::install_github("hadley/multidplyr")
library(multidplyr)
library(parallel)
species_summary <- species_data %>%
# partition the species data by species id
partition(species_id, cluster = cluster) %>%
left_join(species_data, lookup, by = "id") %>%
dplyr::select(-id) %>%
group_by(species_id) %>%
## total number of cells each species occurs in
mutate(tot_count_cells = n_distinct(cell_id)) %>%
ungroup() %>%
dplyr::select(c(cell_id, species_id, rgn_id, tot_count_cells)) %>%
group_by(rgn_id, species_id) %>%
## number of cells each species occurs in each region
summarise(count_cells_eez = n_distinct(cell_id)) %>%
collect() %>%
as_tibble()
## Error in partition(., species_id, cluster = cluster) : unused argument (species_id)
## If I change to:
species_summary <- species_data %>%
group_by(species_id) %>%
partition(cluster = cluster) %>% ...
## get, "Error in worker_id(data, cluster) : object 'cluster' not found
由v0.3.0于2020年3月21日创建，第一次加载dplyr和multidplyr
library(tidyverse)
install.packages("devtools")
library(devtools)
devtools::install_github("hadley/multidplyr")
library(multidplyr)
library(parallel)
species_summary <- species_data %>%
# partition the species data by species id
partition(species_id, cluster = cluster) %>%
left_join(species_data, lookup, by = "id") %>%
dplyr::select(-id) %>%
group_by(species_id) %>%
## total number of cells each species occurs in
mutate(tot_count_cells = n_distinct(cell_id)) %>%
ungroup() %>%
dplyr::select(c(cell_id, species_id, rgn_id, tot_count_cells)) %>%
group_by(rgn_id, species_id) %>%
## number of cells each species occurs in each region
summarise(count_cells_eez = n_distinct(cell_id)) %>%
collect() %>%
as_tibble()
## Error in partition(., species_id, cluster = cluster) : unused argument (species_id)
## If I change to:
species_summary <- species_data %>%
group_by(species_id) %>%
partition(cluster = cluster) %>% ...
## get, "Error in worker_id(data, cluster) : object 'cluster' not found
由v0.3.0于2020年3月21日创建，能否提供数据的一小部分或描述？了解您的问题会很有用。@agila用示例dataframesHi编辑了这个问题。我刚刚试着用示例数据帧运行您的示例，但问题是在运行过滤器之后！is.nargn_id我没有观察到，因为没有一个rgn_id不是NA。您可以更新示例数据框，或者共享原始数据框的一部分吗？@agila这里有一个更好的查找数据表示：lookup@leslieroberson好问题！您能提供数据的一小部分或描述吗？了解您的问题会很有用。@agila用示例dataframesHi编辑了这个问题。我刚刚试着用示例数据帧运行您的示例，但问题是在运行过滤器之后！is.nargn_id我没有观察到，因为没有一个rgn_id不是NA。您可以更新示例数据框，或者共享原始数据框的一部分吗？@agila这里有一个更好的查找数据表示：lookup@leslieroberson好问题！我认为这对样本数据帧非常有效，但在第一步，我仍然得到了错误，left_join_implx中的错误，y，by_x，by_y，aux_x，aux_y，na_匹配，环境：不允许负长度向量，我在谷歌上搜索了一下，意思是合并结果在>2^31行如果你不能共享原始数据帧，那么我想我只能做这个例子了，对不起。顺便说一句：你检查过了吗？我很乐意共享它们，如果你想尝试一下，这里有一个dropbox链接：。我想它们太大了。对不起，我解决不了这个问题。也许你可以问一个新问题，报告data.table错误并寻求帮助。我认为这对示例数据帧非常有效，但在第一步我仍然得到错误，left_join_implx中的错误，y，by_x，by_y，aux_x，aux_y，na_匹配，环境：不允许使用负长度向量，我在谷歌上搜索了一下，意思是合并结果在>2^31行如果你不能共享原始数据帧，那么我想我只能做这个例子了，对不起。顺便说一句：你检查过了吗？我很乐意共享它们，如果你想尝试一下，这里有一个dropbox链接：。我想它们太大了。对不起，我解决不了这个问题。也许你可以问一个新问题，报告data.table错误并寻求帮助。