在 sklearn 中使用数据标签自定义 transformerMixin

Question

我正在做一个小项目，我正在尝试应用 SMOTE "Synthetic Minority Over-sampling Technique"，我的数据不平衡..

我为 SMOTE 函数创建了一个自定义的 transformerMixin ..

class smote(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        print(X.shape, ' ', type(X)) # (57, 28)   <class 'numpy.ndarray'>
        print(len(y), ' ', type)     #    57      <class 'list'>
        smote = SMOTE(kind='regular', n_jobs=-1)
        X, y = smote.fit_sample(X, y)

        return X

    def transform(self, X):
        return X

model = Pipeline([
        ('posFeat1', featureVECTOR()),
        ('sca1', StandardScaler()),
        ('smote', smote()),
        ('classification', SGDClassifier(loss='hinge', max_iter=1, random_state = 38, tol = None))
    ])
    model.fit(train_df, train_df['label'].values.tolist())
    predicted = model.predict(test_df)

我在 FIT 函数上实现了 SMOTE，因为我不希望它应用于测试数据..

不幸的是，我遇到了这个错误：

     model.fit(train_df, train_df['label'].values.tolist())
  File "C:\Python35\lib\site-packages\sklearn\pipeline.py", line 248, in fit
    Xt, fit_params = self._fit(X, y, **fit_params)
  File "C:\Python35\lib\site-packages\sklearn\pipeline.py", line 213, in _fit
    **fit_params_steps[name])
  File "C:\Python35\lib\site-packages\sklearn\externals\joblib\memory.py", line 362, in __call__
    return self.func(*args, **kwargs)
  File "C:\Python35\lib\site-packages\sklearn\pipeline.py", line 581, in _fit_transform_one
    res = transformer.fit_transform(X, y, **fit_params)
  File "C:\Python35\lib\site-packages\sklearn\base.py", line 520, in fit_transform
    return self.fit(X, y, **fit_params).transform(X)
AttributeError: 'numpy.ndarray' object has no attribute 'transform'

Answer 1

fit() mehtod 应该 return self，而不是转换后的值。如果您只需要训练数据的功能而不需要测试，请实施 fit_transform() 方法。

class smote(BaseEstimator, TransformerMixin):
    def fit(self, X, y=None):
        print(X.shape, ' ', type(X)) # (57, 28)   <class 'numpy.ndarray'>
        print(len(y), ' ', type)     #    57      <class 'list'>
        self.smote = SMOTE(kind='regular', n_jobs=-1).fit(X, y)

        return self

    def fit_transform(self, X, y=None):
        self.fit(X, y)
        return self.smote.sample(X, y)

    def transform(self, X):
        return X

说明：在训练数据上（即调用 pipeline.fit() 时）管道将首先尝试在内部对象上调用 fit_transform()。如果没有找到，那么它将分别调用 fit() 和 transform()。

在测试数据上，每个内部对象只调用transform()，所以这里你提供的测试数据不应该改变。

更新: 上面的代码还是会报错。您会看到，当您对提供的数据进行过采样时，X 和 y 中的样本数都会发生变化。但该管道仅适用于 X 数据。它不会改变 y。因此，如果我更正上述错误，您将收到关于标签不匹配样本的错误。如果碰巧生成的样本与之前的样本相同，那么 y 值也不会对应于新样本。

工作解决方案：傻我。

您可以只使用 Pipeline from the imblearn package 代替 scikit-learn 管道。当在管道上调用 fit() 时，它会自动注意 re-sample，并且不会 re-sample 测试数据（当调用 transform() 或 predict() 时）。

其实我知道imblearn.Pipeline handles sample() 方法，但是当你实现一个自定义的class 并且说测试数据不能改变时被甩掉了。我没想到那是默认行为。

只需替换

from sklearn.pipeline import Pipeline

和

from imblearn.pipeline import Pipeline

一切就绪。无需像您那样自定义 class。只需使用原始 SMOTE。类似于：

random_state = 38
model = Pipeline([
        ('posFeat1', featureVECTOR()),
        ('sca1', StandardScaler()),

        # Original SMOTE class
        ('smote', SMOTE(random_state=random_state)),
        ('classification', SGDClassifier(loss='hinge', max_iter=1, random_state=random_state, tol=None))
    ])

在 sklearn 中使用数据标签自定义 transformerMixin

customized transformerMixin with data labels in sklearn

python

pipeline

scikit-learn