想知道多里安（dorian）的故事？这篇内容别错过

今天跟大家唠唠我搞的这个“dorian”项目，名字听起来挺唬人，就是个小玩意儿，但折腾起来还真有点意思。

我就想搞个能自动处理数据的小工具，因为最近老是手动整理数据，烦都烦死了。想到之前看过一些关于“多里安”的资料，感觉这个名字挺酷的，就直接拿来用了。此“多里安”非彼“多里安”，跟刺客信条没啥关系，纯粹觉得好听。

第一步：先搭个架子。 我用的是Python，这玩意儿上手快，库也多。先建了几个文件夹，把代码、数据、配置文件啥的都分门别类放然后就开始写主程序，主要就是定义一些函数，比如读取数据、处理数据、输出结果等等。这一步主要是把整个流程给理顺了。

第二步：搞定数据读取。 我要处理的数据是CSV格式的，所以就用了Pandas库。这玩意儿读取CSV文件简直不要太方便，几行代码就搞定了。读进来之后，数据是DataFrame格式的，可以像操作表格一样操作数据。这一步最重要的是要搞清楚数据的结构，每一列代表什么，数据类型是什么，这些都要搞清楚，不然处理起来就麻烦了。

第三步：核心的数据处理。 这部分是整个项目的重头戏。我要做的是根据一些规则，对数据进行清洗、转换、筛选等等。比如，要把一些缺失值给填上，要把一些不符合格式的数据给转换成正确的格式，要把一些重复的数据给删除掉。这里面用到了很多Pandas的函数，比如`fillna()`、`astype()`、`drop_duplicates()`等等。最关键的还是要把处理数据的逻辑给想清楚，这一步要花很多时间调试，不断地尝试不同的方法，看看哪种方法效果最

第四步：输出结果。 数据处理完了，就要把结果输出出来。我选择把结果输出到Excel文件中，因为这样方便查看和分享。Pandas也可以很方便地把DataFrame数据写入到Excel文件中。只需要一行代码就搞定了。在输出之前，还要对数据进行一些格式化，比如设置列宽、设置字体等等，让结果看起来更美观。

第五步：加点自动化。 为了让这个工具更方便使用，我写了一个简单的命令行界面。用户可以通过命令行输入一些参数，比如输入文件名、输出文件名等等。这样就不用每次都修改代码了。我还加了一个定时任务，让这个工具每天自动运行一次，这样就可以每天自动处理数据了。

这个“dorian”项目虽然不大，但是让我学到了很多东西。比如，如何使用Python处理数据，如何使用Pandas库，如何编写命令行界面，如何设置定时任务等等。最重要的是，让我体会到了自动化处理数据的乐趣。以后再遇到类似的任务，就可以用这个工具快速搞定了。

这个项目还有很多可以改进的地方。比如，可以加入更多的错误处理机制，可以优化代码的性能，可以增加更多的功能等等。以后有机会再慢慢完善。

• 读取CSV数据
• 数据清洗和转换
• 输出Excel结果
• 命令行界面
• 定时任务

就分享到这里，希望对大家有所帮助。