23. Pandas的数据清洗-数据转换
回忆一下之前的Categorical Data数据,是通过类似字典编码的方式存储了原始数据,降低了存储所需的空间,也就是说有的时候DataFrame里的数据未必就是原始数据,那么需要对原始数据,例如采集时设定了一些协议,1代表某某、2代表另一个事务或内容,那么当开发者得到这些协议后的编码,需要做一些数据上的变换,以便真实的反映数据本身,本章研究数据的转换,会介绍一些函数例如map、applymap等函数,将数据转换成其他的数据。
23.1 map函数
map函数可以将某列数据映射成其它数据,语法结构如下:
outerSeries.map(innerSeries)
调用map函数的Series即outerSeries其value可被括号里的形参innerSeries的值替换掉,替换规则是outerSeries的value和innerSeries的index进行匹配,即最后的结果是调用map的outerSeries的index和形参innerSeries的value。
import pandas as pd
oSeries = pd.Series(["a", "b", "c"], index = [2,3,1])
iSeries = pd.Series([100,200, 300], index = ["c","b","a"])
print oSeries
print iSeries
print oSeries.map(iSeries)
程序执行结果:
2 a
3 b
1 c
dtype: object
c 100
b 200
a 300
dtype: int64
2 300
3 200
1 100
dtype: int64
23.2 replace函数
之前章节的fillna函数可以将NaN数据填充为0,这里的replace函数可以将数据替换成其他数据。replace函数的使用方式有很多,可以一对一的替换也可一堆多的替换数据。
- 一对一替换数据,在replace里指定要被替换的和替换成的两个数据。
import pandas as pd
ss = pd.Series(["a", "b", "c"], index = [2,3,1])
print ss
ss.replace("b", "hello", inplace = True)
print ss
程序执行结果:
2 a
3 b
1 c
dtype: object
2 a
3 hello
1 c
dtype: object
- 多对多的替换数据,给出两个列表,分别是要被替换的和替换称的。
import pandas as pd
ss = pd.Series(["a", "b", "c", "a", "c"], index = [2,3,1, 4, 5])
print ss
ss.replace(["c", "a"], ["hello", "world"], inplace = True)
print ss
程序执行结果:
2 a
3 b
1 c
4 a
5 c
dtype: object
2 world
3 b
1 hello
4 world
5 hello
dtype: object
- 字典方式指定替换。
1) 对于Series通过字典的key指定要被替换的数据,value为替换成的数据。
import pandas as pd
ss = pd.Series(["a", "b", "c", "a", "c"], index = [2,3,1, 4, 5])
print ss
ss.replace({"c":"hello", "a" : "world"}, inplace = True)
print ss
程序执行结果:
2 a
3 b
1 c
4 a
5 c
dtype: object
2 world
3 b
1 hello
4 world
5 hello
dtype: object
2) 对于DataFrame,可以通过字典的key指定列、value指定要被替换的数据,第二个参数为替换成的数据。
import pandas as pd
idx = [1,3,2,4]
val = {'name' : "hello the cruel world".split(),
'growth' : [100, 125, 150, 200]}
df = pd.DataFrame(val, idx)
print df
df.replace({"name" : "the"}, "THE", inplace = True)
print df
程序的执行结果:
growth name
1 100 hello
3 125 the
2 150 cruel
4 200 world
growth name
1 100 hello
3 125 THE
2 150 cruel
4 200 world
感谢Klang(金浪)智能数据看板klang.org.cn鼎力支持!