从字符串创建Pandas DataFrame

一个简单的方法是使用StringIO.StringIO (python2)或io.StringIO (python3)并将其传递给pandas.read_csv函数。例句:

import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO


import pandas as pd


TESTDATA = StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")


df = pd.read_csv(TESTDATA, sep=";")

这个答案适用于手动输入字符串，而不是从其他地方读取字符串。

传统的可变宽度CSV对于将数据存储为字符串变量是不可读的。特别是在.py文件中使用时，请考虑固定宽度的管道分隔数据。各种ide和编辑器可能都有一个插件，可以将管道分隔的文本格式化为一个整洁的表格。

使用read_csv

将以下内容存储在一个实用模块中，例如util/pandas.py。函数的文档字符串中包含了一个示例。

import io
import re


import pandas as pd




def read_psv(str_input: str, **kwargs) -> pd.DataFrame:
"""Read a Pandas object from a pipe-separated table contained within a string.


Input example:
| int_score | ext_score | eligible |
|           | 701       | True     |
| 221.3     | 0         | False    |
|           | 576       | True     |
| 300       | 600       | True     |


The leading and trailing pipes are optional, but if one is present,
so must be the other.


`kwargs` are passed to `read_csv`. They must not include `sep`.


In PyCharm, the "Pipe Table Formatter" plugin has a "Format" feature that can
be used to neatly format a table.


Ref: https://stackoverflow.com/a/46471952/
"""


substitutions = [
('^ *', ''),  # Remove leading spaces
(' *$', ''),  # Remove trailing spaces
(r' *\| *', '|'),  # Remove spaces between columns
]
if all(line.lstrip().startswith('|') and line.rstrip().endswith('|') for line in str_input.strip().split('\n')):
substitutions.extend([
(r'^\|', ''),  # Remove redundant leading delimiter
(r'\|$', ''),  # Remove redundant trailing delimiter
])
for pattern, replacement in substitutions:
str_input = re.sub(pattern, replacement, str_input, flags=re.MULTILINE)
return pd.read_csv(io.StringIO(str_input), sep='|', **kwargs)

非工作的替代品

下面的代码不能正常工作，因为它在左侧和右侧都添加了一个空列。

df = pd.read_csv(io.StringIO(df_str), sep=r'\s*\|\s*', engine='python')

至于read_fwf，它实际上并不使用了许多read_csv接受和使用的可选kwarg。因此，它根本不应该用于管道分离的数据。

交互式工作的一个快速简单的解决方案是通过从剪贴板加载数据来复制并粘贴文本。

用鼠标选择字符串的内容:

在Python shell中使用read_clipboard()

>>> pd.read_clipboard()
col1;col2;col3
0       1;4.4;99
1      2;4.5;200
2       3;4.7;65
3      4;3.2;140

使用适当的分隔符:

>>> pd.read_clipboard(sep=';')
col1  col2  col3
0     1   4.4    99
1     2   4.5   200
2     3   4.7    65
3     4   3.2   140


>>> df = pd.read_clipboard(sep=';') # save to dataframe

分割方法

data = input_string
df = pd.DataFrame([x.split(';') for x in data.split('\n')])
print(df)

在一行中，但首先导入io

import pandas as pd
import io


TESTDATA="""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
"""


df = pd.read_csv(io.StringIO(TESTDATA), sep=";")
print(df)

对象:获取字符串make dataframe。

解决方案

def str2frame(estr, sep = ',', lineterm = '\n', set_header = True):
dat = [x.split(sep) for x in estr.split(lineterm)][1:-1]
df = pd.DataFrame(dat)
if set_header:
df = df.T.set_index(0, drop = True).T # flip, set ix, flip back
return df

例子

estr = """
sym,date,strike,genus
APPLE,20MAY20,50.0,Malus
ORANGE,22JUL20,50.0,Rutaceae
"""


df = str2frame(estr)

print(df)
0     sym     date strike     genus
1   APPLE  20MAY20   50.0     Malus
2  ORANGE  22JUL20   50.0  Rutaceae

Emample:

text = [ ['This is the NLP TASKS ARTICLE written by Anjum**'] ,['IN this article I”ll be explaining various DATA-CLEANING techniques '], ['So stay tuned for FURther More && '],['Nah I dont think he goes to usf ; he lives around']]
df = pd.DataFrame({'text':text})

< >强输出 < / p >