大奖18dj18vip-大奖18dj18娱乐官网

大奖18dj18vip

查看: 176|回复: 0
打印 上一主题 下一主题

为什么Python比VBA更适合自动化处理Excel数据?

[复制链接]

托儿所

1万

主题

3万

帖子

8万

积分

Rank: 1

UID
237
威望
51
贡献
2697
在线时间
240 小时
注册时间
2014-11-5
跳转到指定楼层
楼主
发表于 2021-1-15 14:01:38 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式

每当有人发布关于 python 处理 Excel 数据的文章,总会有人只看了标题就评论:

  • "vba处理已经足够,完全没必要使用python"。
  • "我工作环境不能安装,因此vba就比python更适合处理Excel"
  • "vba比python快速100倍!"

其实,那些稍微接触过 pandas 的人,相信都会心底上抗拒使用vba。

而我本人一直保持一个观点,各种工具都有他的优劣势,抛开应用场景单纯说某个工具更好都是在耍流氓。今天,我就举例说明一下,哪些场景适合vba,哪些场景适合python。

我喜欢用实际案例说明问题,本文使用泰坦尼克号沉船事件中的乘客信息表:

实现几个简单分析需求:

  • 找出多人(2人或以上)一起登船的组的数量
  • 列出这些人的信息
  • 是否存在最幸运的亲朋好友(多人一起登船,同时全部人都获救)?
"操作 Excel"等于"数据处理"吗?

初学者往往误以为操作 Excel 就是在处理数据,实际上是两回事。

需求是:"姓名与住址列内容通常很长,希望最终Excel显示的时候,使用缩小字体填充"。

对于这种格式化设置,vba绝对是最佳选择!因为我们可以通过录制宏,自动得到大概的代码

通过简单的录制宏,我们就能写出如下实现:

如果我们使用 python 实现相同的需求,代码肯定只多不少,并且难以调试。

如果你看过我的专栏《带你玩转Python数据处理—pandas》的话,其中关于数据处理流程一节,你会想到,这就是"数据展示"的流程。

也就是说,如果你的数据任务最终需要输出 Excel 文件,vba是"数据展示"过程的最佳自动化工具。

可惜,现实中的大部分需求并不单纯,都需要进行"数据处理",那么 vba 中又是如何处理数据?

vba 使用数组+字典,就是高效率?

大部分不经思考,张口就反对 python 的同学,都是对自己的 vba "数组+字典" 的技能有着迷之自信。

来看一个数据分析相关的处理需求:

我们注意到,有些人是亲朋好友一起上船,比如:

  • 从"票根号"一样,可以看出来他们是一起上船
  • 从"住址"一样,可以看出来他们是一家四口

我们需要统计出有多少组这些2人或以上登船的?

以下尝试用vba解决:

其实代码不算多,里面的技巧也只是基础,但是如果会 pandas 的同学心里肯定会说:"太繁琐了"。

因为对于 pandas 来说,如下:

代码就4句,最关键的其实只有3句,分别表示:

  • 加载数据
  • 按"票根号"分组统计数量
  • 数量大于1的总和

这不就是一个正常人的处理思维吗?这就是简洁

能够与需求表达语义相近,多余的表达越少,即越简洁

回头看 vba 的表达,多余的表达非常多。

  • Excel 有一个非常好用的统计工具——透视表。你可以尝试通过录制宏得到透视表的操作代码,但是你仍然会发现有许多多余的表达。
  • Sql 的表达更加简洁,但是实现如上的需求,你会发现他的表达顺序需要"绕"一下

有些不服气的同学会说:"我写出这段vba代码也就1分钟,反正也能得到正确结果"

当需求不断变化,你就会发现这样子的代码最终走向无法实现的死胡同。

刚刚我们知道了有216组亲朋好友是一起登船的,但只有一个数字,我们希望看看这216数据的大概样子。

也就是说输出这些乘客数据。

python 的实现:

  • 顺便排序一下,方便观察
  • 这里代码多余的表达,就是那个 lambda 单词。如果换成是 sql ,就非常简洁

vba 的实现太麻烦了,就留给那些不服气的 vba 粉丝吧

现在你大概能够稍微理解,为什么 Python 在数据领域这么受宠了。

数据分析中的数据处理,需要你的代码赶上你的思维速度,只有简洁的语言才能做到。

按理说,sql 应该是更好的选择,但实际上很多复杂需求实现,sql 需要大量的嵌套查询,此时就一点都不简洁了。以后再举例说明

现实的需求是 "操作Excel" + "数据处理" ,怎么办?

这时候最理想的情况是,使用 vba 操作 Excel,数据处理交给 Python,中间就需要一个桥梁把 vba 与 python 打通,这就是 xlwings 或其他类似的库的最佳实践方式。

如果你完全使用 xlwings 控制 Excel,Python 代码操作 Excel 写起来非常别扭,一旦你理清楚 "操作Excel" 与 "数据处理" 的区别,自然而然知道如何组织你的代码。

Python 需要单独安装,因此他比不上 vba

这是一种无聊的结论,因为任何自动化工具都需要安装,比如学习性价比最高的 Sql ,他也需要安装相应的驱动程序才能执行。

而我本人的工作环境有一部分任务是需要放在服务器上执行,此时是不可能安装 Excel,vba 也用不上了,但我不能因此作出"vba比不上python"的结论吧。

如果你的工作环境不能安装 python,但你又需要做大量数据处理任务,那么我只能说非常不幸,你只能牺牲自己大量的时间使用vba去完成需求。

Vba 就不能有 pandas 的存在吗?

"说了半天,不就是 python 比 vba 多了一个 pandas 库而已吗,找个vba牛人去写一个 vba-pandas 就行啦!"

vba 天生缺少了一种语言特性,使得你即使有写库的能力,也无法发挥。

这就是提取逻辑的能力.

通常来说,如果一段代码有些数据不是固定,我们可以提取成函数的参数,比如最简单的数字计算:

  • 分别定义3个参数,让你输入,但计算方式是固定的

对于 vba 来说他同样可以做到,但是如果是其中一段代码不是固定,能否把他提取为参数呢?

而 python 就能做到,比如以下的函数,可以让你输入3个数字,并且由你决定前2个数字的计算方式,最后与第3个数字做乘法:

结果时,第一个数乘以10 + 第二个数乘以100(这是变化的逻辑,由使用函数的人自行决定),最后乘以第三个数(这是固定逻辑,由定义函数的人决定)

vba 需要使用接口做到同样的效果,非常麻烦,对于数据任务没有任何实用价值

这有什么用处?用最后一个需求说明:

  • 是否存在最幸运的亲朋好友(多人一起登船,同时全部人都获救)?

假如说,我只给你一组相同"票根号"的乘客数据,该如何判断他们都是生还呢?

只要看"生还"列是否都为1就可以。方式非常多,除了上面的做法,还可以"生还列求和,看看是否等于记录行数"

前一个需求中使用的 filter 就是可以接受一段逻辑(函数),pandas 负责帮你分组,你只需要在函数中描述出符合条件的逻辑即可:

  • 把刚刚定义的函数,传给 filter 函数

而 vba 无法做到这一点,就意味着他无法做出 pandas 一样好用的库!

因为许多看似复杂的流程,其实是由许多固定的逻辑 + 变化的逻辑 组成。

比如分组的原理就类似 vba 中使用字典,这是相对固定的,完全可以让库完成。

但是分组后,每一组的处理逻辑却是变化的,由使用者临时决定,比如之前的需求分组中我们有时候需要计数,有时候需要筛选。筛选的逻辑也是千变万化。

最后

任何工具都有他的适用场景,如何合理利用才是我们的学习方向,而非一根经地排斥自己不熟悉的工具。


大奖18dj18vip-大奖18dj18娱乐官网

开通大奖18dj18vip论坛VIP会员,限时促销活动,全站任意发帖,发帖无限制,优先推荐您的品牌!(点我购买)
Powered by www.dastanona.com Copyright © 2013-2021 大奖18dj18vip社区 小黑屋|手机版|Archiver|地图|联系站长|腾讯云代金券|seo优化服务|大奖18dj18vip
广告服务/项目合作/会员购买:QQ 侵权举报邮箱: fuwu-sosoba@qq.com 举报流程必看 大奖18dj18vip建站时间:创建于2013年07月23日
免责声明:大奖18dj18vip所有的内容均来自互联网以及第三方作者自由发布,版权归原作者版权所有,大奖18dj18vip不承担任何的法律责任,若有侵权请来信告知,我们立即删除!
版权声明:大奖18dj18vip影视资源均收集自互联网,没有提供影片资源存储和下载,也未参与录制上传,若大奖18dj18vip收录的资源涉及您的版权或知识产权或其他利益,我们会立即删除

GMT+8, 2021-2-11 17:25 , Processed in 0.020913 second(s), 10 queries , Gzip On, MemCached On.

快速回复 返回顶部 返回列表