Chinaunix
標(biāo)題: 大數(shù)據(jù)研修 [打印本頁(yè)]
作者: ss淡淡 時(shí)間: 2022-08-01 11:17
標(biāo)題: 大數(shù)據(jù)研修
大數(shù)據(jù)建模、分析、挖掘技術(shù)應(yīng)用研修
時(shí)間
2022年8月5日 — 2022年8月9日 北京（同時(shí)轉(zhuǎn)線上直播）
（5日?qǐng)?bào)到，6日-9日上課）
目標(biāo)
1.掌握大數(shù)據(jù)建模分析與使用方法。
2.掌握大數(shù)據(jù)平臺(tái)技術(shù)架構(gòu)。
3.掌握國(guó)內(nèi)外主流的大數(shù)據(jù)分析與BI商業(yè)智能分析解決方案。
4.掌握大數(shù)據(jù)分析在搜索引擎、廣告服務(wù)推薦、電商數(shù)據(jù)分析、金融客戶分析方面的應(yīng)用。
5.掌握主流的基于大數(shù)據(jù)Hadoop和Spark、R的大數(shù)據(jù)分析平臺(tái)架構(gòu)和實(shí)際應(yīng)用。
6.掌握基于Hadoop大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘和數(shù)據(jù)倉(cāng)庫(kù)分布式系統(tǒng)平臺(tái)應(yīng)用，以及商業(yè)和開(kāi)源的數(shù)據(jù)分析產(chǎn)品加上Hadoop平臺(tái)形成大數(shù)據(jù)分析平臺(tái)的應(yīng)用剖析。
7.掌握常見(jiàn)的機(jī)器學(xué)習(xí)算法。
一、大數(shù)據(jù)概述
1.大數(shù)據(jù)及特點(diǎn)分析
2.大數(shù)據(jù)關(guān)健技術(shù)
3.大數(shù)據(jù)計(jì)算模式
4.大數(shù)據(jù)應(yīng)用實(shí)例
二、大數(shù)據(jù)處理架構(gòu)Hadoop
1.Hadoop項(xiàng)目結(jié)構(gòu)
2.Hadoop安裝與使用
3.Hadoop集群的部署與使用
4.Hadoop 代表性組件
1.Hadoop Single Node Cluster
2. Hadoop Multi Node Cluster
三、分布式文件系統(tǒng)HDFS
1.HDFS體系結(jié)構(gòu)
2.HDFS存儲(chǔ)
3.HDFS數(shù)據(jù)讀寫過(guò)程
1.創(chuàng)建與查看HDFS目錄
2.從本地計(jì)算復(fù)制文件到HDFS
3.將HDFS文件復(fù)制到本地計(jì)算機(jī)
4.復(fù)制與刪除HDFS文件
5.Hadoop HDFS Web瀏覽HDFS
四、分布式數(shù)據(jù)庫(kù)HBase
1.HBase訪問(wèn)接口
2.HBase數(shù)據(jù)類型
3.HBase實(shí)現(xiàn)原理
4.HBase運(yùn)行機(jī)制
5.HBase應(yīng)用
五、MapReduce
1.MapReduce體系結(jié)構(gòu)
2.MapReduce工作流程
3.資源管理調(diào)度框架YARN
4.MapReduce應(yīng)用
六、Spark
1.Spark生態(tài)與運(yùn)行架構(gòu)
2.Spark SQL
3.Spark部署與應(yīng)用方式
1.Python Spark 安裝
2.本地運(yùn)行pyspark程序
3.在Hadoop YARN 運(yùn)行pyspark
4.Spark Web UI
七、IPython Notebook運(yùn)行Python Spark程序
1.Anaconda
2.IPython Notebook使用Spark
3.使用IPython Notebook在Hadoop YARN模式運(yùn)行
1.在不同模式運(yùn)行IPython Notebook運(yùn)行Python Spark命令
2.Python 程序開(kāi)發(fā)
八、Python Spark集成開(kāi)發(fā)環(huán)境
1.Python Spark集成開(kāi)發(fā)環(huán)境部署配置
2.Spark數(shù)據(jù)分析庫(kù)MLlib的開(kāi)發(fā)部署
Spark MLlib應(yīng)用程序示例
九、Python Spark決策樹二分類與多分類
1.決策樹原理
2.大數(shù)據(jù)問(wèn)題
3.決策樹二分類
4.決策樹多分類
1.搜集數(shù)據(jù)
2.數(shù)據(jù)準(zhǔn)備：導(dǎo)入并轉(zhuǎn)換數(shù)據(jù)、提取特征字段、提取標(biāo)簽
3. Python Spark建模，訓(xùn)練模型
4.預(yù)測(cè)數(shù)據(jù)
5.評(píng)估數(shù)據(jù)，給出評(píng)價(jià)指標(biāo)并得到評(píng)估結(jié)果
十、Python Spark支持向量機(jī)
1.支持向量機(jī)SVM 原理與算法
2.Python Spark SVM程序設(shè)計(jì)
1.數(shù)據(jù)準(zhǔn)備
2.建立SVM模型，訓(xùn)練模型
3.評(píng)估參數(shù)并找出最優(yōu)參數(shù)
4.根據(jù)模型進(jìn)行預(yù)測(cè)
十一、Python Spark 貝葉斯模型
1.樸素貝葉斯模型原理
2.Python Spark貝葉斯模型程序設(shè)計(jì)
1.建模貝葉斯模型，并進(jìn)行對(duì)參數(shù)估計(jì)
2.訓(xùn)練模型，得到最優(yōu)參數(shù)
3.根據(jù)模型進(jìn)行預(yù)測(cè)
十二、Python Spark邏輯回歸
1.邏輯回歸原理
2.Python Spark邏輯回歸程序設(shè)計(jì)
1.Python Spark邏輯回歸建模
2.根據(jù)模型進(jìn)行分類
十三、Python Spark回歸分析
1.大數(shù)據(jù)分析
2.數(shù)據(jù)集介紹
3.Python Spark回歸程序設(shè)計(jì)
1.數(shù)據(jù)準(zhǔn)備
2.訓(xùn)練回歸模型
3.建立評(píng)估指標(biāo)
4.訓(xùn)練回歸模型，并找到最優(yōu)參數(shù)
5.根據(jù)模型進(jìn)行預(yù)測(cè)
十四、Spark ML Pipeline 機(jī)器學(xué)習(xí)流程分類
1.機(jī)器學(xué)習(xí)流程組件：StringIndexer、OneHotEncoder、VectorAssembler等
2.使用Spark ML Pipeline 機(jī)器學(xué)習(xí)流程分類程序設(shè)計(jì)
1.數(shù)據(jù)準(zhǔn)備
2.建立機(jī)器學(xué)習(xí)Pipeline流程
3.使用Pipeline流程訓(xùn)練
4.使用PipelineModel預(yù)測(cè)
5.評(píng)估模型準(zhǔn)備率
十五、Python Spark 創(chuàng)建推薦引擎
1.推薦算法
2.推薦引擎大數(shù)據(jù)分析使用場(chǎng)景
3.推薦引擎設(shè)計(jì)
1.搜索數(shù)據(jù)
2.準(zhǔn)備數(shù)據(jù)
3.訓(xùn)練模型
4.使用模型進(jìn)行推薦
十六、項(xiàng)目實(shí)踐
1.日志分析系統(tǒng)與日志挖掘項(xiàng)目實(shí)踐
a、Hadoop，Spark，ELK技術(shù)構(gòu)建日志數(shù)據(jù)倉(cāng)庫(kù)
b、互聯(lián)網(wǎng)微博日志分析系統(tǒng)項(xiàng)目
1.推薦系統(tǒng)項(xiàng)目實(shí)踐
a、電影數(shù)據(jù)分析與個(gè)性化推薦關(guān)聯(lián)分析項(xiàng)目
作者: ss淡淡 時(shí)間: 2022-08-01 12:09
郭老師 195--1112--2152（V）
G:人工智能技術(shù)與咨詢
| 歡迎光臨 Chinaunix (http://www.72891.cn/) |
Powered by Discuz! X3.2 |