# scikit-learn介绍与发展历史 # 1. Scikit-learn无监督学习 ## 无监督学习 ### 1.1 降维学习与可视化 补充：1. 特征冗余 2. 噪声 #### 1.1.1 主成分分析（PCA） 关注样本方差、线性、敏感、初步探索、降噪、特征提取、方差最大的正交方向 #### 1.1.2 Isomap算法 *流形学习* 、全局视角、整体路径、保持测地距离（而非欧氏距离）全局最优、耗时、等距映射算法 #### 1.1.3 局部线性嵌入（LLE） 流形学习、局部视角、邻域关系、保持局部线性特征、假设局部满足线性、减少了计算量 #### 1.1.4 t-分布随机邻域嵌入（t-SNE） 保留数据点在高维空间中的聚类结构、非线性、能处理异常值、比传统方法（如PCA）更擅长发现复杂模式、过聚类、高斯联合概率、随机、调参、局部结构 #### 1.1.5 RBM神经网络（受限玻尔兹曼机） 特征提取、分类、协同过滤、表征学习、深度神经网络预训练、可见层、隐藏层、内层无连接、层间全连接、二分图 ### 1.2 聚类算法 补充：聚类、数据挖掘算法预处理、兰德系数（RI）、调整兰德系数（ARI） #### 5.2.1 K-Means 迭代计算、聚类中心、速度快、计算简便、初始聚类中心敏感、须提前知组数K、（圆形聚类？） #### 5.2.2 DBSCAN $ε、MinPts $ （超参数更多更复杂）、不用指定簇的个数、可以发现任意形状的簇、抗干扰（可发现异常点、对异常点不敏感）、密度直达、密度可达、稠密数据、密度不均或聚类间距差相差很大时效果较差、收敛相对慢 #### 5.2.3 近邻传播算法（AP） 基于近邻信息传递、无需预先指定聚类数量、自动找出聚类中心、可用于高维数据和非凸数据、时间复杂度高$O(N^2) $、对初始值敏感、相似度矩阵、吸引（责任）度矩阵、归属（可信/支持）度矩阵、阻尼因子、紧致数据的超球形结构聚类、数据集分布松散或结构复杂时质量很差 #### 5.2.4 高斯混合模型（GMM） 高斯分布、软聚类、可处理非球形多模态数据、整体概率密度函数、期望最大化EM算法、扩散模型、噪声引入、可逆性、数学便利性、混合模型学习效率最高、适配自然采集数据、需要足够数据充分估计、需要预先指定类簇数量。 #### 5.2.5 层次化聚类 递归合并/拆分、凝聚式（自底向上；更常用）、分裂式（自顶向下）、树状图、距离度量（簇间相似性）、链接方式、无需预设灵活切割、可视化强、直观、复杂度高$O(N^2) $、错误不可逆、噪声敏感、一次性得到整个聚类结果、贪心、局部最优 # 2. Scikit-learn监督学习模型 **（此部分暂时不用写，只需要写无监督部分就可以）** 根据这个使用latex写一个万字以上的面向小白的速通讲义，其中里面的一些关键词是我学习是记下的关键词，你仅作参考，不一定正确也不一定必须提及，以上只是一个大概，内部的层级结构和教学递进请你自己设置