fread错误“；意外字符结尾字段“；
你能帮帮我吗 我正在尝试加载大的TSV文件（400万行），并使用该“fread”（巨大的速度：） 问题是，当到达某一行时，所有程序都会崩溃。 来自verbose的最后一条消息是“将数据行2220004上的第12列从INT64缓冲到实数，字段包含“0.54” 我尝试只复制到带有“跳过”选项的那一行-它工作正常，但在我尝试复制最后一行后，它立即抛出另一个错误：第2220005行的意外字符（“АМ）结束字段5 在我尝试禁用标题、删除第12列、输入列类之后，一切都不起作用 有没有办法克服这个问题 我的代码：fread错误“；意外字符结尾字段“；,r,data.table,fread,R,Data.table,Fread,你能帮帮我吗 我正在尝试加载大的TSV文件（400万行），并使用该“fread”（巨大的速度：） 问题是，当到达某一行时，所有程序都会崩溃。 来自verbose的最后一条消息是“将数据行2220004上的第12列从INT64缓冲到实数，字段包含“0.54” 我尝试只复制到带有“跳过”选项的那一行-它工作正常，但在我尝试复制最后一行后，它立即抛出另一个错误：第2220005行的意外字符（“АМ）结束字段5 在我尝试禁用标题、删除第12列、输入列类之后，一切都不起作用 有没有办法克服这个问题 我的代
library(data.table)
movies <- fread('avito_train.tsv', verbose=TRUE, nrows=2220002)
movies2 <- fread('avito_train.tsv', verbose=TRUE, sep="\t", skip=2220004, colClasses=c("integer", "character", "character","character","character", "character","integer","integer","integer","integer","integer","real", "numeric"))
库（data.table）
电影使用GitHub的data.table
对我来说效果很好。自述文件中最近的两个变化可能解决了这个问题：
fread（）：
*现在接受引用字段中的换行符。感谢Clayton Stanley突出显示：
*现在接受引号字段中的尾随反斜杠。感谢用户2970844突出显示：
以下是输出（在我的4GB内存速度较慢的上网本上，它很难做到这一点）：
你是否考虑过违规行？我会考虑使用一个BASE选项（即：代码>读取.Delm < /Cord>）。四百万是绝对可行的：只使用<代码> As.Is= Trase< /Cord>并尝试指定行数。这个RStudio是如何相关的？有没有可能将文件发送给我？通过电子邮件发送到<代码>维护器（“数据表”）$ file avito_train.tsv
avito_train.tsv: UTF-8 Unicode text, with very long lines
> DT = fread("Downloads/avito_train.tsv",verbose=TRUE)
Input contains no \n. Taking this to be a filename to open
File opened, filesize is 2.915 GB
File is opened and mapped ok
Detected eol as \n only (no \r afterwards), the UNIX and Mac standard.
Using line 30 to detect sep (the last non blank line in the first 'autostart') ... sep='\t'
Found 13 columns
First row with 13 fields occurs on line 1 (either column names or first row of data)
All the fields on line 1 are character fields. Treating as the column names.
Count of eol after first data row: 3995804
Subtracted 1 for last eol and any trailing empty lines, leaving 3995803 data rows
Type codes ( first 5 rows): 1444441111113
Type codes (+ middle 5 rows): 1444441111113
Type codes (+ last 5 rows): 1444441111113
Type codes: 1444441111113 (after applying colClasses and integer64)
Type codes: 1444441111113 (after applying drop or select (if supplied)
Allocating 13 column slots (13 - 0 dropped)
Read 3995803 rows and 13 (of 13) columns from 2.915 GB file in 00:10:49
82.590s ( 13%) Memory map (rerun may be quicker)
2.930s ( 0%) sep and header detection
68.290s ( 11%) Count rows (wc -l)
0.000s ( 0%) Column type detection (first, middle and last 5 rows)
3.550s ( 1%) Allocation of 3995803x13 result (xMB) in RAM
491.590s ( 76%) Reading data
0.000s ( 0%) Allocation for type bumps (if any), including gc time if triggered
0.000s ( 0%) Coercing data already read in type bumps (if any)
0.080s ( 0%) Changing na.strings to NA
649.030s Total
> head(DT)
itemid category subcategory title
1: 10000010 Транспорт Автомобили с пробегом Toyota Sera, 1991
2: 10000025 Услуги Предложения услуг Монтаж кровли
3: 10000094 Личные вещи Одежда, обувь, аксессуары Костюм Steilmann
4: 10000101 Транспорт Автомобили с пробегом Ford Focus, 2011
5: 10000132 Транспорт Запчасти и аксессуары Турбина 3.0 Bar
6: 10000152 Транспорт Автомобили с пробегом ВАЗ 2115 Samara, 2005
description
1: Новая оригинальная линзованая оптика на ксеноне (ближний, дальний), новые задние фонари, новые 16-е диски, новая передняя резина, задние с небольшим износом. ^p Срочно! Торг! ^p Актуально, пока висит объявление!!!
2: Выполняем монтаж кровли фальцевой ^p Тел:8@@PHONE@@
3: Юбка и топ из панбархата. Под топ трикотажная майка. Vобразный вырез спереди и сзади. На юбке по подолу мягкий волан. Длина приблизительно по колено (+3-4 см). Размер 40
4: Автомобиль в отличном техническом состоянии, все работает, включается, переключается и т.д. Нареканий по подвеске, коробке и двигателю нет. Два комплекта резины зима/лето в отличном состоянии. Продается СРОЧНО в связи с семейными обстоятельствами!!! Возможен ТОРГ при осмотре в разумных пределах.
5: Продам турбину на двигатель V-6 . V-8 и мощнее 16 клапанов и выше.....
6: Автомабиль вхорошем состаянием НЕ ГНЕЛАЯ борт комп музыка званите всё раскажу званите влюбое время 8 @@PHONE@@
attrs
1: {""Год выпуска"":""1991"", ""Тип кузова"":""Купе"", ""Пробег"":""10 000 - 14 999"", ""Коробка передач"":""Автоматическая"", ""Объем двигателя"":""1.5"", ""Тип двигателя"":""Бензиновый"", ""Марка"":""Toyota"", ""Модель"":""Sera"", ""Цвет"":""Оранжевый"", ""Привод"":""Передний"", ""Руль"":""Правый"", ""Состояние"":""Не битый""}
2: {""Вид услуги"":""Ремонт, строительство""}
3: {""Вид одежды"":""Женская одежда"", ""Предмет одежды"":""Платья и юбки"", ""Размер"":""46–48 (L)""}
4: {""Марка"":""Ford"", ""Модель"":""Focus"", ""Год выпуска"":""2011"", ""Пробег"":""80 000 - 84 999"", ""Тип кузова"":""Седан"", ""Цвет"":""Чёрный"", ""Объём двигателя"":""1.6"", ""Коробка передач"":""Механическая"", ""Тип двигателя"":""Бензиновый"", ""Привод"":""Передний"", ""Руль"":""Левый"", ""Состояние"":""Не битый""}
5: {""Вид товара"":""Запчасти"", ""Тип товара"":""Для автомобилей""}
6: {""Марка"":""ВАЗ (LADA)"", ""Модель"":""2115 Samara"", ""Год выпуска"":""2005"", ""Пробег"":""140 000 - 149 999"", ""Тип кузова"":""Седан"", ""Цвет"":""Синий"", ""Объём двигателя"":""1.5"", ""Коробка передач"":""Механическая"", ""Тип двигателя"":""Бензиновый"", ""Привод"":""Передний"", ""Руль"":""Левый"", ""Состояние"":""Не битый""}
price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours
1: 150000 NA 0 0 0 0 0.03
2: 0 NA 0 1 0 0 22.38
3: 1500 NA 0 0 0 0 0.41
4: 365000 NA 0 0 0 0 8.87
5: 5000 NA 0 0 0 0 11.82
6: 0 NA 0 1 0 0 22.55
> tail(DT)
itemid category subcategory title
1: 99999929 Для дома и дачи Ремонт и строительство Алюминиевые раздвижки профиль проведал
2: 99999962 Транспорт Запчасти и аксессуары Bridgestone-Blizzak WS-60-225/50 R17-зима-комплект
3: 99999973 Недвижимость Квартиры 1-к квартира, 39 м²
4: 99999974 Услуги Предложения услуг Ремонт, отделочные работы под ключ
5: 99999977 Бытовая электроника Аудио и видео Nokia оригинал
6: 99999982 Личные вещи Товары для детей и игрушки Продам мобиль на кроватку
description
1: 2 одинаковых балкона размер 1560(ширина)*1050(высота) по две секции , на 2 полозных рамах,белые,новые.В комплекте есть зацепы и язычки для замков.Баконы абсолютно новые(ошиблись в размере,не устанавливались)Цена 4000 одна конструкция,две отдам за 7000.
2: Комплект 4 шины. Протектор 5-6 мм,равномерный износ. ^p Стоимость комплекта 16 000 рублей ^p Дополнительные номера телефонов ^p 8-@@PHONE@@
3: пустая.после ремонта.риэлтор
4: Отделочные работы. Комплексный ремонт квартир, домов. ^p - выравнивание стен, потолков ^p - гипсокартон ^p - устройство откосов ^p - шпаклёвка ^p - окраска водоимульсионными составами ^p - обои
5: в отличном состоянии
6: Механический.В отличном состоянии.Также могу отдать крепеж,но он переломлен пополам,но там вполне можно склеить клеем и прослужит еще(фото).
attrs price is_proved is_blocked phones_cnt emails_cnt urls_cnt close_hours
1: {""Вид товара"":""Окна и балконы""} 4000 NA 0 0 0 0 0.69
2: {""Вид товара"":""Шины, диски и колёса"", ""Тип товара"":""Шины""} 16000 NA 0 1 0 0 0.04
3: {""Тип объявления"":""Сдам"", ""Количество комнат"":""1"", ""Срок аренды"":""На длительный срок"", ""Адрес"":""Автовокзал""} 11000 NA 0 0 0 0 0.20
4: {""Вид услуги"":""Ремонт, строительство""} 0 NA 0 0 0 0 23.50
5: {""Вид товара"":""Наушники""} 300 NA 0 0 0 0 5.72
6: {""Вид товара"":""Игрушки""} 300 NA 0 0 0 0 19.08
> dim(DT)
[1] 3995803 13
$ lscpu
Architecture: x86_64
CPU op-mode(s): 32-bit, 64-bit
Byte Order: Little Endian
CPU(s): 2
On-line CPU(s) list: 0,1
Thread(s) per core: 1
Core(s) per socket: 2
Socket(s): 1
NUMA node(s): 1
Vendor ID: AuthenticAMD
CPU family: 20
Model: 2
Stepping: 0
CPU MHz: 800.000 # i.e. my slow netbook (4GB RAM)
BogoMIPS: 1995.01
Virtualisation: AMD-V
L1d cache: 32K
L1i cache: 32K
L2 cache: 512K
NUMA node0 CPU(s): 0,1