使用多列的管道

Question

我有一个二元分类问题。我的数据集由不同类型的列组成：二进制（0 或 1）或文本（来自电子邮件的文本）。我有 40 多列。

示例如下：

Text                             is_it_capital?     is_it_upper?      contains_num?   Label
an example of text                      0                  0               0            0
ANOTHER example of text                 1                  1               0            1
What's happening?Let's talk at 5        1                  0               1            1

我正在尝试使用管道来进行预测。然而，我已经编码了一些列（is_it_capital?, ....）这一事实对我帮助不大，因为我不知道如何在我的管道中添加这些列（特征）。它们都是数字，取值 1 或 0（使用 numerical_columns = train_set.select_dtypes(include=[np.number]) 检查）。

如果我还没有对这些列进行编码，FeatureUnion 可能是一个很好的解决方案；在这种情况下，我不知道如何进行。

我试过如下

  nb_pipeline = Pipeline([
            ('NBCV',extract_func. tf_idf_n),
            ('nb_clf',MultinomialNB())])
    nb_pipeline.fit(train_set,train_set['Label']) # I am considering the whole training set
    predicted_nb = nb_pipeline.predict(test_set)
    np.mean(predicted_nb == test_set['Label'])

但我得到了错误

ValueError: Found input variables with inconsistent numbers of samples: [30, 4394]

我使用 train_test_split 将数据集拆分为训练 (80%) 和测试 (20%)。 y 只是 Label，而 X 包含我示例中的所有其他列。拆分数据集后，我将 X_train 和 y_train 连接如下：

train_set= pd.concat([X_train, y_train], axis=1)
test_set = pd.concat([X_test, y_test], axis=1)

完整的错误追踪：

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-50-bab0cc0a9f07> in <module>
      6         ('nb_clf',MultinomialNB())])
      7 
----> 8 nb_pipeline.fit(train_set.drop('Label', axis=1), train_set['Label'])
      9 predicted_nb = nb_pipeline.predict(test_set.drop('Label', axis=1))
     10 np.mean(predicted_nb == test_set['Label'])

/anaconda3/lib/python3.7/site-packages/sklearn/pipeline.py in fit(self, X, y, **fit_params)
    333             if self._final_estimator != 'passthrough':
    334                 fit_params_last_step = fit_params_steps[self.steps[-1][0]]
--> 335                 self._final_estimator.fit(Xt, y, **fit_params_last_step)
    336 
    337         return self

/anaconda3/lib/python3.7/site-packages/sklearn/naive_bayes.py in fit(self, X, y, sample_weight)
    613         self : object
    614         """
--> 615         X, y = self._check_X_y(X, y)
    616         _, n_features = X.shape
    617         self.n_features_ = n_features

/anaconda3/lib/python3.7/site-packages/sklearn/naive_bayes.py in _check_X_y(self, X, y)
    478 
    479     def _check_X_y(self, X, y):
--> 480         return self._validate_data(X, y, accept_sparse='csr')
    481 
    482     def _update_class_log_prior(self, class_prior=None):

/anaconda3/lib/python3.7/site-packages/sklearn/base.py in _validate_data(self, X, y, reset, validate_separately, **check_params)
    430                 y = check_array(y, **check_y_params)
    431             else:
--> 432                 X, y = check_X_y(X, y, **check_params)
    433             out = X, y
    434 

/anaconda3/lib/python3.7/site-packages/sklearn/utils/validation.py in inner_f(*args, **kwargs)
     70                           FutureWarning)
     71         kwargs.update({k: arg for k, arg in zip(sig.parameters, args)})
---> 72         return f(**kwargs)
     73     return inner_f
     74 

/anaconda3/lib/python3.7/site-packages/sklearn/utils/validation.py in check_X_y(X, y, accept_sparse, accept_large_sparse, dtype, order, copy, force_all_finite, ensure_2d, allow_nd, multi_output, ensure_min_samples, ensure_min_features, y_numeric, estimator)
    810         y = y.astype(np.float64)
    811 
--> 812     check_consistent_length(X, y)
    813 
    814     return X, y

/anaconda3/lib/python3.7/site-packages/sklearn/utils/validation.py in check_consistent_length(*arrays)
    254     if len(uniques) > 1:
    255         raise ValueError("Found input variables with inconsistent numbers of"
--> 256                          " samples: %r" % [int(l) for l in lengths])
    257 
    258 

ValueError: Found input variables with inconsistent numbers of samples: [29, 4394]

Answer 1

从回溯中，您可以看到 tfidf 转换器完成，而 NB 模型是中断的部分。我怀疑 tfidf 没有按照您的预期进行，因为它将整个帧视为要编码的 columns 的可迭代对象；所以它认为只有 29 个“文档”，因此 NB 看到 29 个训练行和 4394 个标签。

我相信像下面这样的东西应该按照你想要的方式工作。

ct = ColumnTransformer(
    transformers=[('tfidf', extract_func.tf_idf_n, 'Text')],
    remainder='passthrough',
)
nb_pipeline = Pipeline([
    ('preproc', ct),
    ('nb_clf', MultinomialNB())
])
nb_pipeline.fit(train_set.drop('Label', axis=1), train_set['Label'])

使用多列的管道

Pipeline using multiple columns

python

pipeline

machine-learning

feature-selection

scikit-learn