为什么训练集用fit_transform()而测试集用transform()及sklearn.feature_extraction.text.CountVectorizer API详解

### 数据处理与机器学习建模详解 #### 使用 Pandas 和 NumPy 进行数据预处理 Pandas 是一种强大的数据分析工具，能够轻松加载、清洗和转换数据。NumPy 则提供了高效的数值运算能力，适合用于矩阵操作和其他数学计算。 以下是使用 Pandas 加载 CSV 文件并进行初步探索的例子： ```python import pandas as pd # 加载数据 data = pd.read_csv('dataset.csv') # 查看前几行数据 print(data.head()) # 统计描述性信息 print(data.describe()) ``` 对于缺失值的处理，可以通过填充或删除来完成： ```python # 填充缺失值 data.fillna(value={'column_name': 'default_value'}, inplace=True) # 删除含有缺失值的行 data.dropna(inplace=True) ``` NumPy 可以用来执行更复杂的数组操作，例如标准化特征值： ```python import numpy as np # 标准化列 mean = data['feature_column'].mean() std_dev = data['feature_column'].std() data['normalized_feature'] = (data['feature_column'] - mean) / std_dev ``` --- #### 文本向量化：TF-IDF 方法 在文本分类任务中，`TfidfVectorizer` 将文本转化为稀疏矩阵表示形式，其中每一项代表某个单词的重要性[^3]。 代码如下： ```python from sklearn.feature_extraction.text import TfidfVectorizer vectorizer = TfidfVectorizer(max_features=1000, stop_words='english') X_tfidf = vectorizer.fit_transform(data['text_column']) ``` --- #### 应用多种机器学习算法 下面详细介绍几种常见算法及其优化方式： ##### 支持向量机（SVC） 支持向量机是一种有效的二分类或多分类方法，在高维空间表现良好。 ```python from sklearn.svm import SVC from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X_tfidf, data['label'], test_size=0.2, random_state=42) svc_model = SVC(kernel='linear', C=1.0).fit(X_train, y_train) accuracy_svc = svc_model.score(X_test, y_test) print(f'SVC Accuracy: {accuracy_svc}') ``` ##### 决策树 决策树易于理解且无需过多假设调整，但在复杂场景下容易过拟合。 ```python from sklearn.tree import DecisionTreeClassifier tree_model = DecisionTreeClassifier(max_depth=5).fit(X_train, y_train) accuracy_tree = tree_model.score(X_test, y_test) print(f'Decision Tree Accuracy: {accuracy_tree}') ``` ##### 朴素贝叶斯 适用于离散型特征的数据集，尤其擅长于文本分类任务。 ```python from sklearn.naive_bayes import MultinomialNB nb_model = MultinomialNB().fit(X_train, y_train) accuracy_nb = nb_model.score(X_test, y_test) print(f'Naive Bayes Accuracy: {accuracy_nb}') ``` ##### 逻辑回归 逻辑回归常被应用于二元分类问题，并可通过正则化防止过拟合。 ```python from sklearn.linear_model import LogisticRegression logreg_model = LogisticRegression(C=1.0, solver='liblinear').fit(X_train, y_train) accuracy_logreg = logreg_model.score(X_test, y_test) print(f'Logistic Regression Accuracy: {accuracy_logreg}') ``` ##### k近邻算法（KNN） k近邻依赖样本之间的距离度量来进行预测，因此对特征缩放敏感。 ```python from sklearn.neighbors import KNeighborsClassifier knn_model = KNeighborsClassifier(n_neighbors=5).fit(X_train.toarray(), y_train) accuracy_knn = knn_model.score(X_test.toarray(), y_test) print(f'KNN Accuracy: {accuracy_knn}') ``` ##### 随机森林 随机森林由多个决策树组成，具有较强的泛化能力和鲁棒性。 ```python from sklearn.ensemble import RandomForestClassifier rf_model = RandomForestClassifier(n_estimators=100, max_depth=None).fit(X_train, y_train) accuracy_rf = rf_model.score(X_test, y_test) print(f'Random Forest Accuracy: {accuracy_rf}') ``` ##### Bagging 分类器 Bagging 技术通过对子模型采样提升整体稳定性。 ```python from sklearn.ensemble import BaggingClassifier from sklearn.tree import DecisionTreeClassifier bagging_model = BaggingClassifier(base_estimator=DecisionTreeClassifier(), n_estimators=10, max_samples=0.8, bootstrap=True).fit(X_train, y_train) accuracy_bagging = bagging_model.score(X_test, y_test) print(f'Bagging Classifier Accuracy: {accuracy_bagging}') ``` --- #### 超参数调优 为了进一步提高模型性能，可采用 `GridSearchCV` 或 `RandomizedSearchCV` 来寻找最佳超参数配置[^2]。 示例代码： ```python from sklearn.model_selection import GridSearchCV param_grid = {'C': [0.1, 1, 10], 'kernel': ['linear', 'rbf']} grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy', n_jobs=-1) grid_search.fit(X_train, y_train) best_params = grid_search.best_params_ print(f'Best Parameters: {best_params}') ``` --- ### 总结 通过结合 Pandas 和 NumPy 完成数据清理与准备后，可以灵活运用 Scikit-learn 中的不同算法解决实际问题。每种算法都有其适用范围和局限性，合理选择并配合超参数调优策略有助于获得更好的效果[^1]。