Scikit-learn Pipeline完全指南：高效构建机器学习工作流

来源：Deephub Imba
本文约2000字，建议阅读5分钟




    
本文介绍Scikit-learn Pipeline完全指南。

关键术语

管道(Pipeline)

• 便捷性和封装性: 只需调用一次fit和predict方法,即可完成从数据预处理到模型训练的全部步骤。
• 联合参数选择: 可以使用网格搜索等方法,一次性地对管道中所有估计器的超参数进行优化。
• 避免数据泄露: 通过交叉验证等方式,管道可以有效防止在训练过程中发生数据泄露。

构建管道

 from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression from sklearn.decomposition import PCA
 pipeline = Pipeline([    ('transformer_1', StandardScaler()),    ('predictor', LogisticRegression()) ])
 pipeline

 # 拟合管道 pipeline.fit(X_train, y_train)
 # 管道预测 y_pred = pipeline.predict(X_test)

网格搜索与交叉验证

 from sklearn.model_selection import GridSearchCV
 # 定义网格搜索参数 grid_params = {     'transformer_1__with_mean': [True, False],     'predictor__C': [0.1, 1, 10] }
 # 执行网格搜索 grid = GridSearchCV(pipeline, grid_params, cv=10)   grid.fit(X_train, y_train)

• transformer_1__with_mean: 管道中transformer_1步骤的with_mean参数,取值为布尔类型。
• predictor__C: 管道中predictor步骤的正则化强度C,取值为数值类型。
• cv=10: 指定交叉验证的折数为10。

保存和加载管道

 import joblib  # 保存管道 joblib.dump(pipeline, 'pipeline.pkl')  # 加载管道 loaded_pipeline = joblib.load('pipeline.pkl')

为什么要保存管道?

• 复用性: 避免了每次使用都需要重新训练模型和执行数据预处理的繁琐步骤。
• 一致性: 确保对不同数据集应用相同的转换操作和模型,提高结果的可重复性。
• 部署便捷: 将管道整体保存为一个对象,可以方便地集成到生产系统中,实现实时预测。
• 时间效率: 对于复杂的管道或大规模数据集,重用已训练的管道可以显著节省计算时间。

完整示例代码

1. 定义包含数据转换和模型的管道;
2. 使用GridSearchCV搜索最优超参数,并拟合管道;
3. 使用训练好的管道对测试集进行预测。

 from sklearn.pipeline import Pipeline from sklearn.linear_model import LogisticRegression from sklearn.decomposition import PCA from sklearn.model_selection import GridSearchCV  # 创建管道 pipeline = Pipeline([    ('transformer_1', StandardScaler()),    ('predictor', LogisticRegression()) ])  # 定义网格搜索参数 grid_params = {     'transformer_1__with_mean': [True, False],     'predictor__C': [0.1, 1, 10] }  # 执行网格搜索 grid = GridSearchCV(pipeline, grid_params, cv=10) grid.fit(X_train, y_train)  # 使用管道进行预测 y_pred = pipeline.predict(X_test)

总结