Csv 警告“带引号字符串中的 EOF”阻止完全读取文件

我有 CSV 档案(24.1 MB)，我不能完全读入我的 R 会议。当我在电子表格程序中打开文件时，我可以看到112,544行。当我用 read.csv将它读入 R 时，我只得到56,952行，并且这个警告:

cit <- read.csv("citations.CSV", row.names = NULL,
comment.char = "", header = TRUE,
stringsAsFactors = FALSE,
colClasses= "character", encoding= "utf-8")


Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
EOF within quoted string

我可以用 readLines把整个文件读入 R:

rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545

但是我不能把它作为一个表(通过 read.csv)返回到 R 中:

write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)


Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
EOF within quoted string

我如何解决或处理这个 EOF 消息(似乎是一个错误，而不是一个警告) ，以获得整个文件到我的 R会话？

我对其他读取 CSV 文件的方法也有类似的问题:

require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")

这是我的 sessionInfo ()

R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)


locale:
[1] LC_COLLATE=English_United States.1252  LC_CTYPE=English_United States.1252
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C
[5] LC_TIME=English_United States.1252


attached base packages:
[1] tools     tcltk     stats     graphics  grDevices utils     datasets  methods   base


other attached packages:
[1] ff_2.2-11             bit_1.1-10            data.table_1.8.8      sqldf_0.4-6.4
[5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4        chron_2.3-43          gsubfn_0.6-5
[9] proto_0.3-10          DBI_0.2-7
150830 次浏览
小开
最佳答案

您需要禁用引用。

cit <- read.csv("citations.CSV", quote = "",
row.names = NULL,
stringsAsFactors = FALSE)


str(cit)
## 'data.frame':    112543 obs. of  13 variables:
##  $ row.names    : chr  "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ...
##  $ id           : chr  "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ...
##  $ doi          : chr  "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ...
##  $ title        : chr  "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ...
##  $ author       : chr  "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ...
##  $ journaltitle : chr  "79\t" "54\t" "41\t" "1\t" ...
##  $ volume       : chr  "3\t" "\t" "1\t" "3\t" ...
##  $ issue        : chr  "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ...
##  $ pubdate      : chr  "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ...
##  $ pagerange    : chr  "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ...
##  $ publisher    : chr  "fla\t" "fla\t" "fla\t" "fla\t" ...
##  $ type         : logi  NA NA NA NA NA NA ...
##  $ reviewed.work: logi  NA NA NA NA NA NA ...

我认为是因为这种线(检查“荆棘”和“负”)

 readLines("citations.CSV")[82]
[1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"
小开

我也遇到了这个问题，并且能够使用以下方法处理类似的 EOF 错误:

read.table("....csv", sep=",", ...)

注意，分隔符参数是在更通用的 read.table()中定义的。

小开

我也遇到过类似的问题: EOF 警告和只有部分数据是用 read.csv ()加载的。我尝试了引号 = “”，但它只删除了 EOF 警告。

但是查看没有加载的第一行，我发现其中一个单元格中有一个特殊的字符，一个箭头→(十六进制值0x1A)。在删除箭头之后，我得到了正常加载的数据。

小开

在 R 帮助部分，正如上面指出的那样，只要简单地添加以下内容，就可以完全禁用引用:

    quote = ""

对 read.csv ()的访问对我来说很有用。

错误“ EOF 在带引号的字符串中”，发生在:

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
+                        colClasses=c(pb.id      = "character",
+                                     genLoc     = "character",
+                                     icode      = "character",
+                                     length     = "character",
+                                     proteinDB  = "character",
+                                     protein.id = "character",
+                                     prot.desc  = "character",
+                                     start      = "character",
+                                     end        = "character",
+                                     evalue     = "character",
+                                     tchar      = "character",
+                                     date       = "character",
+                                     ipro.id    = "character",
+                                     prot.name  = "character",
+                                     go.cat     = "character",
+                                     reactome.id= "character"),
+                                     as.is=T,header=F)
Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings,  :
EOF within quoted string
> dim(iproscan.53A.neg)
[1] 69383    16

读入的文件丢失了6619行，但是禁用了引号

    > iproscan.53A.neg     = read.csv("interproscan.53A.neg.n.csv",
+                        colClasses=c(pb.id      = "character",
+                                     genLoc     = "character",
+                                     icode      = "character",
+                                     length     = "character",
+                                     proteinDB  = "character",
+                                     protein.id = "character",
+                                     prot.desc  = "character",
+                                     start      = "character",
+                                     end        = "character",
+                                     evalue     = "character",
+                                     tchar      = "character",
+                                     date       = "character",
+                                     ipro.id    = "character",
+                                     prot.name  = "character",
+                                     go.cat     = "character",
+                                     reactome.id= "character"),
+                                     as.is=T,header=F,**quote=""**)
>
> dim(iproscan.53A.neg)
[1] 76002    16

工作没有错误，所有行都成功读入。

小开

我是一个新的 R 用户，并认为我应该发布这个，以防它帮助其他人。我试图从一个包含几个西班牙字符的文本文件(用逗号分隔)中读入数据，我花了很长时间才弄明白。 我知道我需要使用 UTF-8编码，将头参数设置为 TRUE，并且需要将 sep 参数设置为“ ,”，但是之后我仍然遇到了问题。我尝试将填充参数设置为 TRUE，但是得到了相同的“引用字符串内的 EOF”，我能够以与上面相同的方式修复它。我成功的 read.table 如下所示:

target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")

结果有西班牙语字符和相同的暗淡我原来，所以我称之为一个成功! 谢谢大家！

小开

实际上，使用 read.csv()读取带有文本内容的文件并不是一个好主意，禁用引号因为设置 quote=""只是一个临时的解决方案，它只能使用单独的引号。还有其他原因会导致警告，例如一些特殊字符。

永久解决方案(使用 read.csv()) ，找出那些特殊字符是什么，并使用正则表达式消除它们是一个想法。

您是否考虑过安装程序包 {data.table}并使用 fread()读取文件。它是快得多，不会打扰你与这个 EOF 警告。注意，它加载的文件将存储为 data.table 对象，而不是 data.frame 对象。Table 类有许多优秀的特性，但是无论如何，如果需要，您可以使用 as.data.frame()对其进行转换。

小开

我也有过类似的问题。但是在我的例子中，问题的原因是由于在一些文本值中出现了撇号(即单引号)。这种情况在处理包括法语文本在内的数据时尤其常见，例如“ L’autre jour”。

因此，解决方案只是调整引号参数的默认设置，以排除“’”符号，因此，使用 引号 = “”(即双引号 只有) ，一切都工作正常。

希望对你们有所帮助，干杯。

小开

雷达包将解决这个问题。

install.packages('readr')
library(readr)
readr::read_csv('yourfile.csv')

提交答案