二、方向连接

1. concat

前面介绍了关系型连接,其中最重要的参数是 onhow ,但有时候用户并不关心以哪一列为键来合并,只是希望把两个表或者多个表按照纵向或者横向拼接,为这种需求, pandas 中提供了 concat 函数来实现。

concat 中,最常用的有三个参数,它们是 axis, join, keys ,分别表示拼接方向,连接形式,以及在新表中指示来自于哪一张旧表的名字。这里需要特别注意, joinkeys 与之前提到的 join 函数和键的概念没有任何关系。

在默认状态下的 axis=0 ,表示纵向拼接多个表,常常用于多个样本的拼接;而 axis=1 表示横向拼接多个表,常用于多个字段或特征的拼接。

例如,纵向合并各表中人的信息:

In [29]: df1 = pd.DataFrame({'Name':['San Zhang','Si Li'],
   ....:                     'Age':[20,30]})
   ....: 
In [30]: df2 = pd.DataFrame({'Name':['Wu Wang'], 'Age':[40]})
In [31]: pd.concat([df1, df2])
Out[31]: 
        Name  Age
0  San Zhang   20
1      Si Li   30
0    Wu Wang   40

横向合并各表中的字段:

In [32]: df2 = pd.DataFrame({'Grade':[80, 90]})
In [33]: df3 = pd.DataFrame({'Gender':['M', 'F']})
In [34]: pd.concat([df1, df2, df3], 1)
Out[34]: 
        Name  Age  Grade Gender
0  San Zhang   20     80      M
1      Si Li   30     90      F

虽然说 concat 不是处理关系型合并的函数,但是它仍然是关于索引进行连接的。纵向拼接会根据列索引对其,默认状态下 join=outer ,表示保留所有的列,并将不存在的值设为缺失; join=inner ,表示保留两个表都出现过的列。横向拼接则根据行索引对齐, join 参数可以类似设置。

In [35]: df2 = pd.DataFrame({'Name':['Wu Wang'], 'Gender':['M']})
In [36]: pd.concat([df1, df2])
Out[36]: 
        Name   Age Gender
0  San Zhang  20.0    NaN
1      Si Li  30.0    NaN
0    Wu Wang   NaN      M
In [37]: df2 = pd.DataFrame({'Grade':[80, 90]}, index=[1, 2])
In [38]: pd.concat([df1, df2], 1)
Out[38]: 
        Name   Age  Grade
0  San Zhang  20.0    NaN
1      Si Li  30.0   80.0
2        NaN   NaN   90.0
In [39]: pd.concat([df1, df2], axis=1, join='inner')
Out[39]: 
    Name  Age  Grade
1  Si Li   30     80

因此,当确认要使用多表直接的方向合并时,尤其是横向的合并,可以先用 reset_index 方法恢复默认整数索引再进行合并,防止出现由索引的误对齐和重复索引的笛卡尔积带来的错误结果。

最后, keys 参数的使用场景在于多个表合并后,用户仍然想要知道新表中的数据来自于哪个原表,这时可以通过 keys 参数产生多级索引进行标记。例如,第一个表中都是一班的同学,而第二个表中都是二班的同学,可以使用如下方式合并:

In [40]: df1 = pd.DataFrame({'Name':['San Zhang','Si Li'],
   ....:                     'Age':[20,21]})
   ....: 
In [41]: df2 = pd.DataFrame({'Name':['Wu Wang'],'Age':[21]})
In [42]: pd.concat([df1, df2], keys=['one', 'two'])
Out[42]: 
            Name  Age
one 0  San Zhang   20
    1      Si Li   21
two 0    Wu Wang   21

2. 序列与表的合并

利用 concat 可以实现多个表之间的方向拼接,如果想要把一个序列追加到表的行末或者列末,则可以分别使用 appendassign 方法。

append 中,如果原表是默认整数序列的索引,那么可以使用 ignore_index=True 对新序列对应的索引自动标号,否则必须对 Series 指定 name 属性。

In [43]: s = pd.Series(['Wu Wang', 21], index = df1.columns)
In [44]: df1.append(s, ignore_index=True)
Out[44]: 
        Name  Age
0  San Zhang   20
1      Si Li   21
2    Wu Wang   21

对于 assign 而言,虽然可以利用其添加新的列,但一般通过 df['new_col'] = ... 的形式就可以等价地添加新列。同时,使用 [] 修改的缺点是它会直接在原表上进行改动,而 assign 返回的是一个临时副本:

In [45]: s = pd.Series([80, 90])
In [46]: df1.assign(Grade=s)
Out[46]: 
        Name  Age  Grade
0  San Zhang   20     80
1      Si Li   21     90
In [47]: df1['Grade'] = s
In [48]: df1
Out[48]: 
        Name  Age  Grade
0  San Zhang   20     80
1      Si Li   21     90