pandas中apply和transform方法的性能比较及区别介绍

 更新时间:2018年10月30日 11:54:55   作者:Bo_hemian   我要评论

这篇文章主要介绍了pandas中apply和transform方法的性能比较,在文中给大家讲解了apply() 与transform()的相同点与不同点,需要的朋友可以参考下

1. apply与transform

首先讲一下apply() 与transform()的相同点与不同点

相同点:

都能针对dataframe完成特征的计算,并且常常与groupby()方法一起使用。

不同点:

apply()里面可以跟自定义的函数,包括简单的求和函数以及复杂的特征间的差值函数等(注:apply不能直接使用agg()方法 / transform()中的python内置函数,例如sum、max、min、'count‘等方法)

transform() 里面不能跟自定义的特征交互函数,因为transform是真针对每一元素(即每一列特征操作)进行计算,也就是说在使用 transform() 方法时,需要记得三点:

1、它只能对每一列进行计算,所以在groupby()之后,.transform()之前是要指定要操作的列,这点也与apply有很大的不同。

2、由于是只能对每一列计算,所以方法的通用性相比apply()就局限了很多,例如只能求列的最大/最小/均值/方差/分箱等操作

3、transform还有什么用呢?最简单的情况是试图将函数的结果分配回原始的dataframe。也就是说返回的shape是(len(df),1)。注:如果与groupby()方法联合使用,需要对值进行去重

2. 各方法耗时

分别计算在同样简单需求下各组合方法的计算时长

2.1 transform() 方法+自定义函数


2.2 transform() 方法+python内置方法


2.3 apply() 方法+自定义函数


2.4 agg() 方法+自定义函数


2.5 agg() 方法+python内置方法


2.6 结论

agg()+python内置方法的计算速度最快,其次是transform()+python内置方法。而 transform() 方法+自定义函数 的组合方法最慢,需要避免使用!

而下面两图中红框内容可观察发现:python自带的stats模块在pandas结构中的计算也非常慢,也需要避免使用!

3. 实例分析

需求:计算每个用户每天

某种行为消费次数、消费总额、消费均额、消费最大额、消费最小额

在几个终端支付、最常支付终端号、最常支付终端号的支付次数、最少支付终端号、最少支付终端号的支付次数

某种行为最常消费发生时间段、最常消费发生时间段的消费次数、最少消费发生时间段、最少消费发生时间段的消费次数

某种行为最早消费时间、最晚消费时间

原始数据信息:306626 x 9


具体选择哪种方法处理,根据实际情况确定,在面对复杂计算时,transform() 与apply()结合使用往往会有意想不到的效果!

需要注意的是,在与apply()一起使用时,transform需要进行去重操作,一般是通过指定一或多个列完成。

此外,匿名函数永远不是一个很好的办法,在进行简单计算时,无论是使用transfrom、agg还是apply,都要尽可能使用自带方法!!!

4. 小技巧

在使用apply()方法处理大数据级时,可以考虑使用joblib中的多线程/多进程模块构造相应函数执行计算,以下分别是采用多进程和单进程的耗时时长。

可以看到,在260W的数据集上,多进程比单进程的计算速度可以提升约17%~61%  。

总结

以上所述是小编给大家介绍的pandas中apply和transform方法的性能比较,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对澳门金沙网上娱乐网站的支持!

相关文章

  • Python模拟百度登录实例详解

    Python模拟百度登录实例详解

    最近公司产品和百度贴吧合作搞活动,为了增加人气,打算做个自动签到的小程序,接下来通过本文给大家介绍python模拟百度登录,感兴趣的朋友一起学习本段代码吧
    2016-01-01
  • 简单的Python2.7编程初学经验总结

    简单的Python2.7编程初学经验总结

    这篇文章主要是作者写给Python2.7编程初学者的经验总结,侧重于包管理、代码调试等实际使用方面,需要的朋友可以参考下
    2015-04-04
  • Python入门篇之编程习惯与特点

    Python入门篇之编程习惯与特点

    本文是Python入门篇的第一篇文章,主要讲述了Python编程习惯和特点等一些基础知识,有需要的朋友可以参考下
    2014-10-10
  • python创建进程fork用法

    python创建进程fork用法

    这篇文章主要介绍了python创建进程fork用法,实例分析了Python使用fork创建进程的使用方法,需要的朋友可以参考下
    2015-06-06
  • Python函数基础实例详解【函数嵌套,命名空间,函数对象,闭包函数等】

    Python函数基础实例详解【函数嵌套,命名空间,函数对象,闭包函数等

    这篇文章主要介绍了Python函数基础,结合实例形式详细分析了函数嵌套,命名空间,函数对象,闭包函数等相关概念、原理、用法及操作注意事项,需要的朋友可以参考下
    2019-03-03
  • Python实现的连接mssql金沙国际官网操作示例

    Python实现的连接mssql金沙国际官网操作示例

    这篇文章主要介绍了Python实现的连接mssql金沙国际官网操作,结合实例形式分析了Python安装pymssql模块以及基于pymssql模块连接sql2008 R2金沙国际官网的具体操作技巧,需要的朋友可以参考下
    2018-08-08
  • Android分包MultiDex策略详解

    Android分包MultiDex策略详解

    这篇文章主要介绍了Android分包MultiDex策略详解,具有一定参考价值,需要的朋友可以了解下。
    2017-10-10
  • 获取Django项目的全部url方法详解

    获取Django项目的全部url方法详解

    这篇文章主要介绍了获取Django项目的全部url方法详解,小编觉得挺不错的,这里分享给大家,供需要的朋友参考。
    2017-10-10
  • Python Json模块中dumps、loads、dump、load函数介绍

    Python Json模块中dumps、loads、dump、load函数介绍

    本篇文章主要介绍了Python Json模块中dumps、loads、dump、load函数介绍,详细的介绍了这几种函数的用法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-05-05
  • python实现简单登陆系统

    python实现简单登陆系统

    这篇文章主要为大家详细介绍了python实现简单登陆系统,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-10-10

最新评论