对文本文件中的记录进行排序的小工具

对文本文件中的记录进行排序的小工具2010-11-27 博客园侯伯薇前几天为工作中的一个实际问题编写了一个小工具，但应该说“麻雀虽小，五脏俱全”，同样涉及到了设计、编码、测试几个过程，并且其中涉及到一些有趣的知识，拿出来和大家分享一下。

首先来说明一下想要解决的问题：

当前每个月公司中的某个部门都会在特定的一天（一般是月初）下载大量的数据，这些数据是从数据库中取得的，生成文本格式的文件，然后用来做后续的处理，类似于EDI的程序。但是，后续处理的程序需要所有的记录都是经过排序的，而现在的下载数据的程序是这样做的，直接写带有Order by的SQL语句，然后直接生成数据。但是这样的话，程序运行的时间非常长，因为在服务器中的内存中进行排序，会耗费大量的资源。这还不是主要问题，主要的问题在于下载数据的时候会对其他部门进行系统操作造成极大的影响，甚至于会造成系统的停顿和没有响应。

因此我考虑在下载数据的时候不对数据进行排序，而是把排序工作拿出来，用一个专门的小程序来实现，这样就可以即使会造成性能下降也只局限在运行小工具程序的那台机器，而不会对公司其他用户造成影响。（后来发现对本机的性能也没有太大的影响）。

遵循这个思路，我所需要做的就是开发一个专门用来对这些数据排序的小工具。为了提高工作的效率，我是用VS 2005来，尽管公司中大多数项目使用的都是Java，呵呵。

首先是如何对文本文件中的数据进行排序，其实很简单，我只是将这个文本文件作为数据源，配置在ODBC中了。