一、关系型连接

1. 连接的基本概念

把两张相关的表按照某一个或某一组键连接起来是一种常见操作,例如学生期末考试各个科目的成绩表按照 姓名班级 连接成总的成绩表,又例如对企业员工的各类信息表按照 员工ID号 进行连接汇总。由此可以看出,在关系型连接中, 是十分重要的,往往用 on 参数表示。

另一个重要的要素是连接的形式。在 pandas 中的关系型连接函数 mergejoin 中提供了 how 参数来代表连接形式,分为左连接 left 、右连接 right 、内连接 inner 、外连接 outer ,它们的区别可以用如下示意图表示:

../_images/ch6_1.png

从图中可以看到,所谓左连接即以左表的键为准,如果右表中的键于左表存在,那么就添加到左表,否则则处理为缺失值,右连接类似处理。内连接只负责合并两边同时出现的键,而外连接则会在内连接的基础上包含只在左边出现以及只在右边出现的值,因此外连接又叫全连接。

上面这个简单的例子中,同一个表中的键没有出现重复的情况,那么如果出现重复的键应该如何处理?只需把握一个原则,即只要两边同时出现的值,就以笛卡尔积的方式加入,如果单边出现则根据连接形式进行处理。其中,关于笛卡尔积可用如下例子说明:设左表中键 张三 出现两次,右表中的 张三 也出现两次,那么逐个进行匹配,最后产生的表必然包含 2*2 个姓名为 张三 的行。下面是一个对应例子的示意图:

../_images/ch6_2.png

显然在不同的场合应该使用不同的连接形式。其中左连接和右连接是等价的,由于它们的结果中的键是被一侧的表确定的,因此常常用于有方向性地添加到目标表。内外连接两侧的表,经常是地位类似的(左右表位置的交换不引起结果的变化),想取出键的交集或者并集,具体的操作还需要根据业务的需求来判断。

2. 值连接

在上面示意图中的例子中,两张表根据某一列的值来连接,事实上还可以通过几列值的组合进行连接,这种基于值的连接在 pandas 中可以由 merge 函数实现,例如第一张图的左连接:

In [3]: df1 = pd.DataFrame({'Name':['San Zhang','Si Li'],
   ...:                     'Age':[20,30]})
   ...: 
In [4]: df2 = pd.DataFrame({'Name':['Si Li','Wu Wang'],
   ...:                     'Gender':['F','M']})
   ...: 
In [5]: df1.merge(df2, on='Name', how='left')
Out[5]: 
        Name  Age Gender
0  San Zhang   20    NaN
1      Si Li   30      F

如果两个表中想要连接的列不具备相同的列名,可以通过 left_onright_on 指定:

In [6]: df1 = pd.DataFrame({'df1_name':['San Zhang','Si Li'],
   ...:                     'Age':[20,30]})
   ...: 
In [7]: df2 = pd.DataFrame({'df2_name':['Si Li','Wu Wang'],
   ...:                     'Gender':['F','M']})
   ...: 
In [8]: df1.merge(df2, left_on='df1_name', right_on='df2_name', how='left')
Out[8]: 
    df1_name  Age df2_name Gender
0  San Zhang   20      NaN    NaN
1      Si Li   30    Si Li      F

如果两个表中的列出现了重复的列名,那么可以通过 suffixes 参数指定。例如合并考试成绩的时候,第一个表记录了语文成绩,第二个是数学成绩:

In [9]: df1 = pd.DataFrame({'Name':['San Zhang'],'Grade':[70]})
In [10]: df2 = pd.DataFrame({'Name':['San Zhang'],'Grade':[80]})
In [11]: df1.merge(df2, on='Name', how='left', suffixes=['_Chinese','_Math'])
Out[11]: 
        Name  Grade_Chinese  Grade_Math
0  San Zhang             70          80

在某些时候出现重复元素是麻烦的,例如两位同学来自不同的班级,但是姓名相同,这种时候就要指定 on 参数为多个列使得正确连接:

In [12]: df1 = pd.DataFrame({'Name':['San Zhang', 'San Zhang'],
   ....:                     'Age':[20, 21],
   ....:                     'Class':['one', 'two']})
   ....: 
In [13]: df2 = pd.DataFrame({'Name':['San Zhang', 'San Zhang'],
   ....:                     'Gender':['F', 'M'],
   ....:                     'Class':['two', 'one']})
   ....: 
In [14]: df1
Out[14]: 
        Name  Age Class
0  San Zhang   20   one
1  San Zhang   21   two
In [15]: df2
Out[15]: 
        Name Gender Class
0  San Zhang      F   two
1  San Zhang      M   one
In [16]: df1.merge(df2, on='Name', how='left') # 错误的结果
Out[16]: 
        Name  Age Class_x Gender Class_y
0  San Zhang   20     one      F     two
1  San Zhang   20     one      M     one
2  San Zhang   21     two      F     two
3  San Zhang   21     two      M     one
In [17]: df1.merge(df2, on=['Name', 'Class'], how='left') # 正确的结果
Out[17]: 
        Name  Age Class Gender
0  San Zhang   20   one      M
1  San Zhang   21   two      F

从上面的例子来看,在进行基于唯一性的连接下,如果键不是唯一的,那么结果就会产生问题。举例中的行数很少,但如果实际数据中有几十万到上百万行的进行合并时,如果想要保证唯一性,除了用 duplicated 检查是否重复外, merge 中也提供了 validate 参数来检查连接的唯一性模式。这里共有三种模式,即一对一连接 1:1 ,一对多连接 1:m ,多对一连接 m:1 连接,第一个是指左右表的键都是唯一的,后面两个分别指左表键唯一和右表键唯一。

练一练

上面以多列为键的例子中,错误写法显然是一种多对多连接,而正确写法是一对一连接,请修改原表,使得以多列为键的正确写法能够通过 validate='1:m' 的检验,但不能通过 validate='m:1' 的检验。

3. 索引连接

所谓索引连接,就是把索引当作键,因此这和值连接本质上没有区别, pandas 中利用 join 函数来处理索引连接,它的参数选择要少于 merge ,除了必须的 onhow 之外,可以对重复的列指定左右后缀 lsuffixrsuffix 。其中, on 参数指索引名,单层索引时省略参数表示按照当前索引连接。

In [18]: df1 = pd.DataFrame({'Age':[20,30]},
   ....:                     index=pd.Series(
   ....:                     ['San Zhang','Si Li'],name='Name'))
   ....: 
In [19]: df2 = pd.DataFrame({'Gender':['F','M']},
   ....:                     index=pd.Series(
   ....:                     ['Si Li','Wu Wang'],name='Name'))
   ....: 
In [20]: df1.join(df2, how='left')
Out[20]: 
           Age Gender
Name         
San Zhang   20    NaN
Si Li       30      F

仿照第2小节的例子,写出语文和数学分数合并的 join 版本:

In [21]: df1 = pd.DataFrame({'Grade':[70]},
   ....:                     index=pd.Series(['San Zhang'],
   ....:                     name='Name'))
   ....: 
In [22]: df2 = pd.DataFrame({'Grade':[80]},
   ....:                     index=pd.Series(['San Zhang'],
   ....:                     name='Name'))
   ....: 
In [23]: df1.join(df2, how='left', lsuffix='_Chinese', rsuffix='_Math')
Out[23]: 
           Grade_Chinese  Grade_Math
Name                        
San Zhang             70          80

如果想要进行类似于 merge 中以多列为键的操作的时候, join 需要使用多级索引,例如在 merge 中的最后一个例子可以如下写出:

In [24]: df1 = pd.DataFrame({'Age':[20,21]},
   ....:                     index=pd.MultiIndex.from_arrays(
   ....:                     [['San Zhang', 'San Zhang'],['one', 'two']],
   ....:                     names=('Name','Class')))
   ....: 
In [25]: df2 = pd.DataFrame({'Gender':['F', 'M']},
   ....:                     index=pd.MultiIndex.from_arrays(
   ....:                     [['San Zhang', 'San Zhang'],['two', 'one']],
   ....:                     names=('Name','Class')))
   ....: 
In [26]: df1
Out[26]: 
                 Age
Name      Class   
San Zhang one     20
          two     21
In [27]: df2
Out[27]: 
                Gender
Name      Class   
San Zhang two        F
          one        M
In [28]: df1.join(df2)
Out[28]: 
                 Age Gender
Name      Class  
San Zhang one     20      M
          two     21      F