Python：用迭代器和生成器降低程序内存占用率

情况描述：用一个30行代码的python文件，处理300M的数据，用到的数据结构有：pandas.DataFrame(), list, dict，二重循环，处理完一次写入磁盘。

问题：内存占用率97%-99%，大约1.5G内存，执行时间超过12h。有什么办法可以降低python内存占用率，缩短执行时间吗？

建议一：用xrange生成器，替代range列表

因为rang是list，python在执行时会直接划一块内存来使用，而xrange是采用生成器 一个一个的执行。修改之后每个进程的占用内存数稳定在5M左右。内存占用降低的很明显。

range和xrange区别：(1) 类型不同，xrange是<type "xrange">  (2) range返回包含所有元素的列表，xrange返回的是一个生成器，元素逐个被创建 (3) xrange不支持列表切片,进行多次next()迭代，每次都会从头开始。

建议二：多用迭代器，for elem in XXX

迭代器是一个实现了迭代器协议的对象，Python中的迭代器协议就是有next方法的对象会前进到下一结果，而在一系列结果的末尾是，则会引发StopIteration。迭代工具内部会在每次迭代时调用next方法，并且捕捉StopIteration异常来确定何时离开。

在Python中，for循环可以用于Python中的任何类型，包括列表、元祖等等，实际上，for循环可用于任何“可迭代对象”，这其实就是迭代器。

使用迭代器一个显而易见的好处就是：每次只从对象中读取一条数据，不会造成内存的过大开销。

案例：比如要逐行读取一个文件的内容，利用readlines()方法，我们可以这么写：

1
2

for line in open("test.txt").readlines():
print line