周小董

2019-12-05

构建AI前的数据准备,SQL要比Python强

Python 可以完成某项任务,并不意味着这个任务就应该使用 Python 来做。作为一名 Web 开发人员,我第一次与数据库和 SQL 产生交集是使用对象关系映射。随着产业发展,生产系统中的数据非常混乱,需要进行大量转换才能用于构建 AI。我使用下面的 Python 和 SQL 代码先在较小的数据集上测试转换。Python 和 SQL 分别花费 591 秒和 40.9 秒完成了任务。更有趣的是,当这些转换脚本应用于 6.5 GB 的数据集时,Python 完全失败。