如何在Spark Dataframe中显示完整的列内容?

小开

最佳答案

results.show(20, false)将不会截断。检查源

20是在不带任何参数调用show()时显示的默认行数。

小开

如果你输入results.show(false)，结果将不会被截断

小开

试试这个命令:

df.show(df.count())

小开

下面的代码将有助于查看所有行，而不会截断每列

df.show(df.count(), False)

小开

其他的解都很好。如果这些是你的目标:

没有列的截断，
没有行损失，
快,
非常高效。

这两行很有用……

    df.persist
df.show(df.count, false) // in Scala or 'False' in Python

通过坚持，执行器的两个动作，计数和显示，更快。在执行器中使用persist或cache来维护临时底层数据框架结构时更有效。参见有关持久化和缓存的更多信息。

小开

results.show(20, False)或results.show(20, false) 取决于你是否在Java/Scala/Python上运行它

小开

results.show(false)将显示完整的列内容。

Show方法默认限制为20行，在false之前添加一个数字将显示更多行。

小开

results.show(20,false)在Scala中为我做了这件事。

小开

在砖中，您可以将数据帧以表格格式可视化。使用命令:

display(results)

它看起来就像

小开

我使用插件Chrome扩展工作得很好:

[https://userstyles.org/styles/157357/jupyter-notebook-wide] [1]

小开

在scala中试试这个:

df.show(df.count.toInt, false)

show方法接受一个整数和一个布尔值，但df除外。count返回Long…所以需要类型铸造

小开

在c#中，Option("truncate", false)不会截断输出中的数据。

StreamingQuery query = spark
.Sql("SELECT * FROM Messages")
.WriteStream()
.OutputMode("append")
.Format("console")
.Option("truncate", false)
.Start();

小开

以下答案适用于Spark Streaming应用程序。

通过将“truncate”选项设置为false，您可以告诉输出接收器显示完整的列。

val query = out.writeStream
.outputMode(OutputMode.Update())
.format("console")
.option("truncate", false)
.trigger(Trigger.ProcessingTime("5 seconds"))
.start()

小开

在pyspark中尝试过

df.show(truncate=0)

小开

PYSPARK

在下面的代码中，df是数据帧的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值设置为False。

df.show(df.count(),False)

SCALA

在下面的代码中，df是数据帧的名称。第一个参数是动态显示数据帧中的所有行，而不是硬编码一个数值。第二个参数将负责显示完整的列内容，因为该值设置为false。

df.show(df.count().toInt,false)

小开

< p >试假df.show(20日)< / p > 注意，如果您没有指定想要显示的行数，它将显示 20行，但将执行所有的数据帧，这将花费更多的时间

小开

在Pyspark中我们可以使用

df.show(truncate=False)这将显示列的完整内容而不进行截断。

df.show(5,truncate=False)这将显示前五行的全部内容。

小开

用Spark python的方式，记住:

如果你必须显示数据帧中的数据，使用show(truncate=False)方法。
否则，如果你必须从流数据帧视图(结构化流)显示数据，使用writeStream.format("console").option("truncate", False).start()方法with option。

希望它能帮助到一些人。