Dataframe CSV-错误:边界错误:和羽毛-错误:不精确错误:-Julia编程

Dataframe CSV-错误:边界错误:和羽毛-错误:不精确错误:-Julia编程,dataframe,csv,julia,feather,Dataframe,Csv,Julia,Feather,我对朱莉娅的编程很陌生 我有一个包含CSV文件(14)的文件夹,我把它连接到一个大数据框中,我正试图保存这个大的CSV文件。(行-262673020 x列-77)当我使用CSV.write时,我得到以下错误:BoundsError:尝试访问索引[1:4194305]处的4194304元素数组{UInt8,1} 所以我试图将其保存到一个feather文件中,但我得到了以下错误:不精确错误:trunc(int322147483662)-此错误看起来达到了最大32个。但不确定原因 我不确定发生了什么,

我对朱莉娅的编程很陌生

我有一个包含CSV文件(14)的文件夹,我把它连接到一个大数据框中,我正试图保存这个大的CSV文件。(行-262673020 x列-77)当我使用CSV.write时,我得到以下错误:BoundsError:尝试访问索引[1:4194305]处的4194304元素数组{UInt8,1}

所以我试图将其保存到一个feather文件中,但我得到了以下错误:不精确错误:trunc(int322147483662)-此错误看起来达到了最大32个。但不确定原因

我不确定发生了什么,只是需要一些帮助来了解该怎么做

软件包版本- Julia版本1.5.2- Glob v1.3.0- CSV v0.5.23- 表v0.2.11- 羽毛v0.5.4

更新到包- Julia版本1.5.2- CSV 0.7.7- 数据帧v0.21.8- globv1.3.0- 表v1.1.0- 羽毛v0.5.6-

using Glob, CSV, Tables, Feather

fileDirectory = "location/CSV"
files = glob("*.csv", fileDirectory)

list_df = [DataFrame(CSV.read(f)) for f in files]
Join_DF = join(list_df[3], list_df[4], list_df[5], list_df[6], list_df[7], list_df[8], list_df[9], list_df[10], list_df[11], list_df[12], list_df[13], list_df[14], on = :INC_KEY, kind = :outer)


Feather.write("location/join_files.feather", Join_DF) 
# ERROR: InexactError: trunc(Int32, 2147483662)

CSV.write("location/join_files.csv", Join_DF) 
# ERROR: BoundsError: attempt to access 4194304-element Array{UInt8,1} at index [1:4194305].
CSV-
堆栈跟踪:
[1] 在./abstractarray.jl:541处抛出(boundserror(::数组{UInt8,1},::元组{UnitRange{Int64}})
[2] checkbounds位于./abstractarray.jl:506[内联]
[3] 视图位于./subarray.jl:158[内联]
[4] writecell(::数组{UInt8,1},::Int64,::IOStream,::Int64,::CSV.Options{UInt8,UInt8,Nothing,Tuple{})位于/Users/.julia/packages/CSV/4GOjG/src/write.jl:147
[5] #64 at/Users/.julia/packages/CSV/4GOjG/src/write.jl:182[内联]
[6] 宏扩展位于/Users/.julia/packages/Tables/FXXeK/src/utils.jl:54[内联]
[7] 每个列位于/Users/.julia/packages/Tables/FXXeK/src/utils.jl:48[内联]
[8] writerow(::数组{UInt8,1},::Base.RefValue{Int64},::Int64,::IOStream,::Tables.Schema{(
[9] #55 at/Users/.julia/packages/CSV/4GOjG/src/write.jl:80[内联]
[10] (::CSV.var“#62#63”{CSV.var“#55#56”{Bool,Tables.Schema{(
[12] 在./io.jl:323打开(::函数,::字符串,::字符串)
[13] 与at/Users/.julia/packages/CSV/4GOjG/src/write.jl:139[内联]
[14] #write#54 at/Users/.julia/packages/CSV/4GOjG/src/write.jl:73[内联]
[15] 写入(::Tables.Schema{(
[16] write(::String,::DataFrame;delim::Char,quotechar::Char,openquotechar::Nothing,closequotechar::Nothing,escapechar::Char,newline::Char,decimal::Char,dateformat::Nothing,quotestrings::Bool,missingstring::String,kwargs::Base.迭代器.对{Union{},Union{},Tuple{},NamedTuple{(),Tuple{})在/Users/.julia/packages/CSV/4GOjG/src/write.jl:60
[17] 在/Users/.julia/packages/CSV/4GOjG/src/write.jl:53处写入(::字符串,::数据帧)
[18] 无时的顶级作用域:1
羽毛-
错误:不精确错误:trunc(int322147483662)
堆栈跟踪:
[1] 在./boot.jl:558处抛出不精确错误(::Symbol,::Type{Int32},::Int64)
[2] 已在/boot.jl:580处选中[内联]
[3] toInt32 at./boot.jl:617[内联]
[4] Int32 at./boot.jl:707[内联]
[5] 转换为./number.jl:7[内联]
[6] setindex!at./array.jl:847[内联]
[7] 偏移量(::Type{Int32},::Type{UInt8},::PooledArray.PooledArray{Union{Missing,String},UInt32,1,Array{UInt32,1})位于/Users/.julia/packages/Arrow/q3tEJ/src/lists.jl:300

[8] Arrow.NullableList{String,Int32,P}您在哪里使用不推荐的函数。您能传递您正在使用的软件包的确切版本吗?另外,当您尝试在REPL中显示时,请检查
Join_DF
是否显示无误?CSV 0.5.23是CSV.jl的一个非常旧的版本。当前版本为0.7.7。这可能是问题的根源。Al因此,您尚未报告DataFrames.jl的版本,但可能它也非常过时。建议安装最新版本的CSV.jl和DataFrames.jl。最简单的方法是使用新的项目环境。请参阅中的第一个项目符号。您是否可以发布完整的错误,然后我或社区的其他人可以发布完整的错误看看它。你能运行
DataFrames吗?\u检查一致性(Join\u DF)
并告诉我它产生了什么?这意味着问题不在于DataFrames.jl(我维护它-调用表明
Join\u DF
没有损坏)但对于CSV.jl/Feather.jl,这意味着再次-最好将这个问题转移到对话中,以检查@quinnj正在发生什么。
CSV - 
Stacktrace:
 [1] throw_boundserror(::Array{UInt8,1}, ::Tuple{UnitRange{Int64}}) at ./abstractarray.jl:541
 [2] checkbounds at ./abstractarray.jl:506 [inlined]
 [3] view at ./subarray.jl:158 [inlined]
 [4] writecell(::Array{UInt8,1}, ::Int64, ::Int64, ::IOStream, ::Int64, ::CSV.Options{UInt8,UInt8,Nothing,Tuple{}}) at /Users/.julia/packages/CSV/4GOjG/src/write.jl:147
 [5] #64 at /Users/.julia/packages/CSV/4GOjG/src/write.jl:182 [inlined]
 [6] macro expansion at /Users/.julia/packages/Tables/FXXeK/src/utils.jl:54 [inlined]
 [7] eachcolumn at /Users/.julia/packages/Tables/FXXeK/src/utils.jl:48 [inlined]
[8] writerow(::Array{UInt8,1}, ::Base.RefValue{Int64}, ::Int64, ::IOStream, ::Tables.Schema{(
[9] #55 at /Users/.julia/packages/CSV/4GOjG/src/write.jl:80 [inlined]
[10] (::CSV.var"#62#63"{CSV.var"#55#56"{Bool,Tables.Schema{(
[12] open(::Function, ::String, ::String) at ./io.jl:323
 [13] with at /Users/.julia/packages/CSV/4GOjG/src/write.jl:139 [inlined]
 [14] #write#54 at /Users/.julia/packages/CSV/4GOjG/src/write.jl:73 [inlined]
 [15] write(::Tables.Schema{(
 [16] write(::String, ::DataFrame; delim::Char, quotechar::Char, openquotechar::Nothing, closequotechar::Nothing, escapechar::Char, newline::Char, decimal::Char, dateformat::Nothing, quotestrings::Bool, missingstring::String, kwargs::Base.Iterators.Pairs{Union{},Union{},Tuple{},NamedTuple{(),Tuple{}}}) at /Users/.julia/packages/CSV/4GOjG/src/write.jl:60
 [17] write(::String, ::DataFrame) at /Users/.julia/packages/CSV/4GOjG/src/write.jl:53
 [18] top-level scope at none:1

Feather -
ERROR: InexactError: trunc(Int32, 2147483662)
Stacktrace:
 [1] throw_inexacterror(::Symbol, ::Type{Int32}, ::Int64) at ./boot.jl:558
 [2] checked_trunc_sint at ./boot.jl:580 [inlined]
 [3] toInt32 at ./boot.jl:617 [inlined]
 [4] Int32 at ./boot.jl:707 [inlined]
 [5] convert at ./number.jl:7 [inlined]
 [6] setindex! at ./array.jl:847 [inlined]
 [7] offsets(::Type{Int32}, ::Type{UInt8}, ::PooledArrays.PooledArray{Union{Missing, String},UInt32,1,Array{UInt32,1}}) at /Users/.julia/packages/Arrow/q3tEJ/src/lists.jl:300
 [8] Arrow.NullableList{String,Int32,P} where P<:Arrow.AbstractPrimitive(::Type{UInt8}, ::PooledArrays.PooledArray{Union{Missing, String},UInt32,1,Array{UInt32,1}}) at /Users/.julia/packages/Arrow/q3tEJ/src/lists.jl:243
 [9] NullableList at /Users/.julia/packages/Arrow/q3tEJ/src/lists.jl:251 [inlined]
 [10] arrowformat at /Users/.julia/packages/Arrow/q3tEJ/src/arrowvectors.jl:242 [inlined]
 [11] getarrow(::PooledArrays.PooledArray{Union{Missing, String},UInt32,1,Array{UInt32,1}}) at /Users/.julia/packages/Feather/y64Pt/src/sink.jl:40
 [12] write(::IOStream, ::DataFrame; description::String, metadata::String) at /Users/.julia/packages/Feather/y64Pt/src/sink.jl:18
 [13] #20 at /Users/.julia/packages/Feather/y64Pt/src/sink.jl:32 [inlined]
 [14] open(::Feather.var"#20#21"{String,String,DataFrame}, ::String, ::Vararg{String,N} where N; kwargs::Base.Iterators.Pairs{Union{},Union{},Tuple{},NamedTuple{(),Tuple{}}}) at ./io.jl:325
 [15] open at ./io.jl:323 [inlined]
 [16] #write#19 at /Users/.julia/packages/Feather/y64Pt/src/sink.jl:31 [inlined]
 [17] write(::String, ::DataFrame) at /Users/.julia/packages/Feather/y64Pt/src/sink.jl:31
 [18] top-level scope at none:1