import pandas as pd 
pd.read_csv 

# [推荐这种遍历方式]
for row in df.itertuples(): 
# 另一种遍历
for index, row in df.iterrows(): 

# 数据转换，利用旧的列生成新的一列
df['new_column'] = df['column'].apply(lambda x : function(x))  : 
#  group by  then  sum or count 操作,最后的reset_index 重置 index,可观察下使用和不使用的区别 
df.groupby('column_name').column.sum().reset_index() :
#df1,df2合并成一个 DataFrame，可以按照行合并(axis=0) ,也可以按照列合并(axis =1 ) 同一条样本的多组特征就可以按照列并起来

pd.concat ( [df1, df2] ,axis= 0 )  
# 按照双方id相等 的条件 关联起来； how='left'类似于 sql中的左连接，其他连接方式，自行查阅 
pd.merge( df1, df2, on='id',how='left') 

import numpy as np
import pandas as pd
#参数解释
#q: np.linspace(0,1,11) 返回的就是 [0 , 0.1 ,0.2 ,..., 1]  linspace 就是等分的意思 ; 
# 这里的 0.1,0.2代表的是 累计个数占比； 这样第一个堆个数占比就是  0.1 - 0  ；
# 第二个堆个数单独占比就是 0.2 -0.1 = 0.1   ； 
#  手工输入的话，可以让每个堆的个数占比不一样，例如4个堆，占比如 [0,0.4,0.5,0.53,1] 
#retbins: 返回每堆的右边界 
#duplicates: 遇到两个堆的右边界相等的情况，如何处理?  这里的drop表示 丢掉 其中一个右边界，本质上就是把两个堆 并成一个堆了 
c,  bins = pd.qcut( df['price'], q = np.linspace(0,1,11) ,retbins=True,  duplicates='drop') 

# 利用describe直接得到四分位数信息；当然也可以利用 上面的qcut得到四分位数 
des = df['price'].describe()
# 计算出允许的最大值 系数3是经验数值，可以自己调整
valid_max =  des['50%'] + 3* ( des['75%'] -des['50%'] ) 
# 进行clip ； clip就是约束 最大最小值  
df['price'] = df['price'].clip(0, valid_max)  
#到此，我们就把price的离群点修正了 

#均值
m = df['price'].mean() 
#标准差
s = df['price'].std()
# 近似处理： 正态分布 [mean - 3 *std , mean + 3 * std] 这个范围内的 累计分布概率是 99%以上; 这个范围之外的，基本是小概率事件，可认为是离群点
# 对价格来说，我们关注的特别高价格的东西，最低价格是0，也是可以理解的
valid_max = m + 3 * s 
df['price'] = df['price'].clip( 0 , valid_max)  

df['column_bin'] = pd.qcut( df['column'] , np.linspace( 0 ,1 , 11  ) ,duplicates='drop')  

df['column_bin_fac'] = pd.factorize( df['column_bin'], sort=True)