一.重复值处理：直接删除为主。一般先处理重复行，再处理唯一值列。二.缺失值处理：主要根据业务经验填补。少于20%的连续变量用均值、中位数填补，分类变量用众数填补，也可以不用填补单算一类；80%以上，使用指示哑变量，不使用原始变量。下限为列最小值，上限为列最

with codecs.open as f: for line in f: line_split = line.strip().split items.append

print # 获取行标签是"a"的一行数据。print # 无论输入的是"a"还是"0"都是

Python中的pandas模块进行数据分析。在pandas中有两类非常重要的数据结构，即序列Series和数据框DataFrame。Series类似于numpy中的一维数组，除了通吃一维数组可用的函数或方法，而且其可通过索引标签的方式获取数据，还具有索引

"name":[‘sdf 11‘,‘aa 22‘,‘bb 33‘,‘tt 44‘,‘ere 55‘,‘tt 66‘]

module ‘pandas‘ has no attribute ‘scatter_matrix‘错误。hist_kwds={‘bins‘: 20}, s=60, alpha=.8, cmap=mglearn.cm3)

　　Pandas是为了解决数据分析任务而创建的，纳入了大量的库和标准数据模型，提供了高效地操作大型数据集所需的工具。　　Series：一维数组，类似于Python中的基本数据结构list，区别是Series只允许存储相同的数据类型，这样可以更有效的使用内存

Pandas [1] 是python的一个数据分析包，最初由AQR Capital Management于2008年4月开发，并于2009年底开源出来，目前由专注于Python数据包开发的PyData开发team继续开发和维护，属于PyData项目的一部分

print # 第2行与第1行重复了，所以为True,第5行与第3行重复，所以为True. print # a替换为s,然后再将s替换为np.nan. print # 一次性替换为多个值

　　pandas 是基于NumPy 的一种工具，提供了大量能使我们快速便捷地处理数据的函数和方法。它是使Python成为强大而高效的数据分析环境的重要因素之一。我们知道numpy能够帮助我们处理数值型数据，但是这还不够，除数值型数据以外，我们还有能够处理字

　　通过Pandas提供的read_xxx相关的函数可以读取文件中的数据，并形成DataFrame，常用的数据读取方法为：read_csv( )和read_excel( )，主要可以读取文本类型的数据。　　pd.read_csv ( filepath, e

pandas中有两个主要的数据结构，其中Series数据结构类似于Numpy中的一维数组，DataFrame类似于多维表格数据结构。pandas是python数据分析的核心模块。它主要提供了五大功能:. 支持文件存取操作，支持数据库、html、json、p

pd.read_sql # 导入SQL数据表/数据库中的数据。pd.read_html # 导入经过解析的URL地址中包含的数据框 数据。pd.DataFrame # 导入Python字典 里面的数据，其中key是数据框的表头，value是数据框的内

类似于一维数组的对象，由一组数据和相关的数据标签（索引）组成。通过values和index属性获取其数组表示形式和索引对象。与普通Numpy数组相比，可以通过索引的方式选取Series中的单个或一组值。>>> obj2[[‘a‘,‘b‘,

　　　　　loc按标签索引，　　dropnahow的值默认为any，表示该列有人以一个nan即删除整个列，若选择all，则只有该列全为nan时才删除该列。　　merge　　 按行合并

　　　用 unique() 函数，其返回结果为一个数组，包含Series去重后的元素 跟 unique() 函数，相似的另一个函数是 value_counts(), 它可以查看每一个唯一元素频数。d = {‘One‘: pd.Series, ‘two‘:

# 切片，可数字切片或者index切片。# bool值,可列表或者矩阵，如果是列表则根据行来显示，如果是矩阵则返回矩阵，false值则是NaN. # append，将其他行附加到调用方的末尾，并返回一个新对象。

"name":[‘sdf 11‘,‘aa 22‘,‘bb 33‘,‘tt 44‘,‘ere 55‘,‘tt 66‘]. print # 对几个常量进行筛选。print #通过函数进行筛选，必须是带有一个参数。grouped.agg #

在使用pandas时报Could not import the lzma module解决方法：

相关联的几个库,pandas是专门为处理表格和混杂数据设计的.专注于清理数据.　　　　理解了numpy 之后就很好理解这个了. 其中ndarray 是一种多维的数组对象.有时候理解这个概念更为重要,Series的字符串表现形式为：索引在左边，值在右边。由于