【培訓(xùn)對象】
IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)建模等IT技術(shù)人員。

【培訓(xùn)收益】

第一部分：機器學(xué)習(xí)基礎(chǔ)
1、機器學(xué)習(xí)簡介
2、機器學(xué)習(xí)的種類
監(jiān)督學(xué)習(xí)/無監(jiān)督學(xué)習(xí)/半監(jiān)督學(xué)習(xí)/強化學(xué)習(xí)
批量學(xué)習(xí)和在線學(xué)習(xí)
基于實例與基于模型
3、機器學(xué)習(xí)的主要戰(zhàn)挑
數(shù)據(jù)量不足
數(shù)據(jù)質(zhì)量差
無關(guān)特征
過擬合/擬合不足
4、機器學(xué)習(xí)任務(wù)
監(jiān)督：分類、回歸
無監(jiān)督：聚類、降維、關(guān)聯(lián)規(guī)則
5、機器學(xué)習(xí)基本過程
6、機器學(xué)習(xí)常用庫
第二部分：回歸算法實現(xiàn)
1、建模的本質(zhì)，其實是一個最優(yōu)化問題
2、回歸模型的基礎(chǔ)
3、基本概念：損失函數(shù)
4、線性回歸常用算法
普通最小二乘法OLS
梯度下降算法
牛頓法/擬牛頓法
5、最小二乘法
a)數(shù)學(xué)推導(dǎo)
b)OLS存在的問題
6、過擬合解決方法：正則化
嶺回歸（Ridge）
套索回歸Lasso
ElasticNet回歸
各種算法的適用場景
7、超大規(guī)模數(shù)據(jù)集的回歸模型：迭代算法
梯度概念
梯度下降/上升算法
批量梯度BGD/隨機梯度SGD/小批量梯度MBGD
學(xué)習(xí)率的影響
早期停止法
8、梯度算法的關(guān)鍵問題
9、牛頓法/擬牛頓法
泰勒公式(Taylor)
牛頓法(Newton)
擬牛頓法(Quasi-Newton)的優(yōu)化
DFP/BFGS/L-BFGS
10、算法比較
第三部分：邏輯回歸算法
1、邏輯回歸基礎(chǔ)
2、LR的常用算法
最大似然估計法
梯度算法
牛頓法
3、最大似然估計法
似然函數(shù)/損失函數(shù)
數(shù)學(xué)推導(dǎo)
4、模型優(yōu)化
迭代樣本的隨機選擇
變化的學(xué)習(xí)率
5、邏輯回歸+正則項
6、求解算法與懲罰項的關(guān)系
7、多元邏輯回歸處理
ovo
ovr
優(yōu)缺點比較
8、邏輯回歸建模實戰(zhàn)
案例：用sklearn庫實現(xiàn)銀行貸款違約預(yù)測
案例：訂閱者用戶的典型特征（二元邏輯回歸）
案例：通信套餐的用戶畫像（多元邏輯回歸）
第四部分：決策樹算法
1、決策樹簡介
演練：識別銀行欠貨風(fēng)險，提取欠貸者的特征
2、決策樹的三個關(guān)鍵問題
最優(yōu)屬性選擇
熵、基尼系數(shù)
信息增益、信息增益率
屬性最佳劃分
多元劃分與二元劃分
連續(xù)變量最優(yōu)劃分
決策樹修剪
剪枝原則
預(yù)剪枝與后剪枝
3、構(gòu)建決策樹的算法
ID3、C4.5、C5.0
CART
4、決策樹的超參優(yōu)化
5、決策樹的解讀
6、決策樹建模過程
案例：商場酸奶購買用戶特征提取
案例：客戶流失預(yù)警與客戶挽留
案例：識別拖欠銀行貨款者的特征，避免不良貨款
案例：識別電信詐騙者嘴臉，讓通信更安全
案例：電力竊漏用戶自動識別
第五部分：神經(jīng)網(wǎng)絡(luò)算法
1、神經(jīng)網(wǎng)絡(luò)簡介（ANN）
2、神經(jīng)元基本原理
加法器
激活函數(shù)
3、神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)
隱藏層數(shù)量
神經(jīng)元個數(shù)
4、神經(jīng)網(wǎng)絡(luò)的建立步驟
5、神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題
6、BP算法實現(xiàn)
7、MLP多層神經(jīng)網(wǎng)絡(luò)
8、學(xué)習(xí)率的設(shè)置
案例：評估銀行用戶拖欠貨款的概率
案例：神經(jīng)網(wǎng)絡(luò)預(yù)測產(chǎn)品銷量
第六部分：線性判別算法
1、判別分析簡介
2、判別分析算法
中心和方差
類間散席Sb
類內(nèi)散席Sw
3、特征值和特征向量
4、多分類LDA算法
5、算法實戰(zhàn)
案例：MBA學(xué)生錄取判別分析
案例：上市公司類別評估
第七部分：最近鄰算法（KNN）
1、KNN的基本原理
2、K近鄰的關(guān)鍵問題
距離公式
投票機制
3、KNN算法實現(xiàn)
Brute（蠻力計算）
Kd_tree（KD樹）
Ball_tre（球樹）
4、算法比較
第八部分：貝葉斯算法（NBN）
1、貝葉斯簡介
2、貝葉斯分類原理
先驗概率和后驗概率
條件概率和類概率
3、常見貝葉斯網(wǎng)絡(luò)
4、計算類別屬性的條件概率
5、估計連續(xù)屬性的條件概率
6、預(yù)測分類概率（計算概率）
7、拉普拉斯修正
案例：評估銀行用戶拖欠貨款的概率
第九部分：支持向量機算法（SVM）
1、支持向量機簡介
適用場景
2、支持向量機原理
支持向量
最大邊界超平面
3、線性不可分處理
松弛系數(shù)
4、非線性SVM分類
5、常用核函數(shù)
線性核函數(shù)
多項式核
高斯RBF核
核函數(shù)的選擇原則
6、SMO算法
第十部分：模型集成優(yōu)化篇
1、模型的優(yōu)化思想
2、集成模型的框架
Bagging
Boosting
Stacking
3、集成算法的關(guān)鍵過程
弱分類器如何構(gòu)建
組合策略：多個弱學(xué)習(xí)器如何形成強學(xué)習(xí)器
4、Bagging集成算法
數(shù)據(jù)/屬性重抽樣
決策依據(jù)：少數(shù)服從多數(shù)
隨機森林RandomForest
5、Boosting集成算法
基于誤分數(shù)據(jù)建模
樣本選擇權(quán)重更新
決策依據(jù)：加權(quán)投票
AdaBoost模型
6、GBDT模型
7、XGBoost模型
8、LightGBM模型
第十一部分：聚類分析（客戶細分）實戰(zhàn)
1、聚類基本原理
2、K均值聚類算法
K均值算法
3、距離計算公式
閔可夫斯基距離(Minkowski Distance)
曼哈頓距離(Manhattan Distance)
歐氏距離(Euclidean Distance)
切比雪夫距離(Chebyshev Distance)
余弦距離(Cosine)
Pearson相似距離
馬哈拉諾比斯距離（Mahalanobis）
漢明距離(Hamming distance)
杰卡德相似系數(shù)(Jaccard similarity coefficient)
相對熵（K-L距離）
4、K均值算法的關(guān)鍵問題
初始中心的選取方式
最優(yōu)K值的選取
5、聚類算法的評價方法
Elbow method（手肘法）
Calinski-Harabasz Index（CH準則法）
Silhouette Coefficient（輪廓系數(shù)法）
Gap Statistic（間隔統(tǒng)計量法）
Canopy算法
6、算法實戰(zhàn)
案例：使用SKLearn實現(xiàn)K均值聚類
第十二部分：關(guān)聯(lián)規(guī)則算法
1、關(guān)聯(lián)規(guī)則基本原理
2、常用關(guān)聯(lián)規(guī)則算法
Apriori算法
發(fā)現(xiàn)頻繁集
生成關(guān)聯(lián)規(guī)則
FP-Growth算法
構(gòu)建FP樹
提取規(guī)則
3、算法實戰(zhàn)
案例：使用apriori庫實現(xiàn)關(guān)聯(lián)分析
案例：中醫(yī)證型關(guān)聯(lián)規(guī)則挖掘
第十三部分：協(xié)同過濾算法
1、協(xié)同過濾基本原理
2、協(xié)同過濾的兩各類型
基于用戶的協(xié)同過濾UserCF
基于物品的協(xié)同過濾ItemCF
3、相似度評估常用公式
4、UserCF算法實現(xiàn)
計算用戶間的興趣相似度
篩選前K個相似用戶
合并相似用戶購買過的物品集
剔除該用戶已經(jīng)購買過的產(chǎn)品，得到候選物品集
計算該用戶對物品的喜歡程度，物品集排序
優(yōu)先推薦前N個物品
5、ItemCF算法實現(xiàn)
計算物品間的相似度
篩選前K個喜歡的物品
合并與前K個物品相似的前L個物品集
剔除該用戶已經(jīng)購買過的物品，得到候選物品集
計算該用戶到候選物品的喜愛程度，物品排序
優(yōu)先推薦前N個物品
6、關(guān)于冷啟動問題
7、協(xié)同過濾算法比較

結(jié)束：課程總結(jié)與問題答疑。