您所在的位置:名課堂>>內(nèi)訓(xùn)課程>>研發(fā)管理培訓(xùn)
大數(shù)據(jù)技術(shù)及應(yīng)用
【課程編號(hào)】:NX40487
大數(shù)據(jù)技術(shù)及應(yīng)用
【課件下載】:點(diǎn)擊下載課程綱要Word版
【所屬類別】:研發(fā)管理培訓(xùn)
【培訓(xùn)課時(shí)】:可根據(jù)客戶需求協(xié)商安排
【課程關(guān)鍵字】:大數(shù)據(jù)培訓(xùn)
我要預(yù)訂
咨詢電話:027-5111 9925 , 027-5111 9926手機(jī):18971071887郵箱:Service@mingketang.com
課程大綱
第一講 大數(shù)據(jù)概述
(一)教學(xué)目的
通過本章的學(xué)習(xí)掌握大數(shù)據(jù)基本概念 ,理解大數(shù)據(jù)的處理流程, 了解大數(shù)
據(jù)在行業(yè)中的應(yīng)用和未來趨勢(shì)。
(二) 教學(xué)要求
1、解釋大數(shù)據(jù)基本概念;
2、分析大數(shù)據(jù)的分析處理流程;
3、知道大數(shù)據(jù)技術(shù)應(yīng)用場(chǎng)景和前景。
(三)教學(xué)內(nèi)容
第一節(jié)大數(shù)據(jù)的概述知識(shí)要點(diǎn): 大數(shù)據(jù)的定義和特征。
第二節(jié)大數(shù)據(jù)分析的過程、技術(shù)及工具知識(shí)要點(diǎn): 大數(shù)據(jù)的采集、存儲(chǔ)方
式、分析技術(shù)、展示及應(yīng)用。
第三節(jié)大數(shù)據(jù)技術(shù)的發(fā)展前景知識(shí)要點(diǎn): 大數(shù)據(jù)技術(shù)不斷發(fā)展, 出現(xiàn)更多
的應(yīng)用項(xiàng)目。
(四)教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn): 大數(shù)據(jù)的基本概念。
2.教學(xué)難點(diǎn): 大數(shù)據(jù)分析處理的流程。
第二講 大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)
(一)教學(xué)目的
能分析大數(shù)據(jù)集群 , 闡明其基本原理; 在虛擬化計(jì)算機(jī)系統(tǒng)中安裝
CentOS 7 操作系統(tǒng) ,通過 SecureCRT/Xshell 訪問 CentOS 7 操作系統(tǒng) , 以 三臺(tái)節(jié)點(diǎn)機(jī)搭建大數(shù)據(jù)集群環(huán)境。
(二)教學(xué)要求
1.掌握虛擬機(jī)軟件 VMware Workstation 10 及以上和終端仿真程序 SecureCRT/Xshell 的下載、安裝和使用方法;
2.掌握 VMware Workstation 10 中安裝 CentOS 7 的方法;
3.理解大數(shù)據(jù)集群相關(guān)組成和技術(shù) ,部署大數(shù)據(jù)集群。
(三)教學(xué)內(nèi)容
第一節(jié) CentOS 大數(shù)據(jù)集群系統(tǒng)的組成知識(shí)要點(diǎn):CentOS 概念、CentOS 集群系統(tǒng)拓?fù)鋱D。
第二節(jié) 操作實(shí)踐:大數(shù)據(jù)集群的部署知識(shí)要點(diǎn):集群規(guī)劃、網(wǎng)絡(luò)配置、 安全配置、時(shí)間同步、SSH 登錄。
(四)教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn):VMwareWorkstation、CentOS 7、SecureCRT 的安裝和使 用。
2.教學(xué)難點(diǎn): 大數(shù)據(jù)集群的部署。
第三講 Hadoop 分布式系統(tǒng)
(一)教學(xué)目的
Hadoop 的使用需要搭建一個(gè)完整的分布式系統(tǒng),在理解 Hadoop 工作原 理的基礎(chǔ)上配置和運(yùn)行 Hadoop。
(二)教學(xué)要求
1.說明 Hadoop 的運(yùn)行原理。
2.掌握 Hadoop 環(huán)境的安裝與配置。
(三)教學(xué)內(nèi)容
第一節(jié) Hadoop 相關(guān)技術(shù)及生態(tài)系統(tǒng)知識(shí)要點(diǎn):構(gòu)成 Hadoop 生態(tài)系統(tǒng) 的相關(guān)技術(shù)。
第二節(jié) 操作實(shí)踐: Hadoop 安裝與配置知識(shí)要點(diǎn): JDK 安裝、Hadoop 安裝、Hadoop 運(yùn)行、瀏覽 Hadoop 頁面。
(四)教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn):Hadoop 安裝過程中 hadoop-en v.sh、yarn-en v.sh、slaves、 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 文件 的配置。
2.教學(xué)難點(diǎn): Hadoop 安裝過程中參數(shù)的配置。
第四講 HDFS 分布式文件系統(tǒng)
(一)教學(xué)目的
Hadoop 采用分布式 HDFS,通過本章學(xué)習(xí)掌握 HDFS 的基本原理,掌握 HDFS
相關(guān)的操作命令,并能夠應(yīng)用 Java 對(duì) HDFS 進(jìn)行編程。
(二) 教學(xué)要求
1 . 了解 HDFS 的特點(diǎn)、架構(gòu)、數(shù)據(jù)讀取過程、數(shù)據(jù)寫入過程。
2. 掌握 HDFS 操作。
(三)教學(xué)內(nèi)容
第一節(jié) HDFS 知識(shí)要點(diǎn): HDFS 設(shè)計(jì)前提和設(shè)計(jì)目標(biāo)、Namenode 和 Datanode、文件系統(tǒng)的名字空間、數(shù)據(jù)復(fù)制、HDFS 讀寫流程。
第二節(jié) HDFS 操作實(shí)踐知識(shí)要點(diǎn): HDFSShell、HDFS JavaAPI、Eclipse 開發(fā)環(huán)境、綜合實(shí)例。
(四)教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn): HDFS 的原理、數(shù)據(jù)讀寫的原理。
2.教學(xué)難點(diǎn):HDFS 綜合實(shí)例。
第五講 分布式計(jì)算系統(tǒng)—MapReduce 及其應(yīng)用實(shí)例
(一)教學(xué)目的
Hadoop 采用分布式計(jì)算系統(tǒng) MapReduce,通過本章的學(xué)習(xí),掌握 MapReduce 的基本原理、架構(gòu)以及工作機(jī)制 ,并且掌握 MapReduce 的編程操作,從而運(yùn)用 到實(shí)處。
(二)教學(xué)要求
1.分析 MapReduce 的基本原理、架構(gòu)以及工作機(jī)制;
2.操作 MapReduce WordCount 編程和 MapReduce 倒排索引編程 ,實(shí)現(xiàn)其應(yīng) 用。
(三)教學(xué)內(nèi)容
第一節(jié) MapReduce 簡(jiǎn)介知識(shí)要點(diǎn): MapReduce 架構(gòu)、原理、工作機(jī)制。
第二節(jié) MapReduce 操作實(shí)踐知識(shí)要點(diǎn): MapReduceWordCount 編程實(shí)例、 MapReduce 倒排索引編程實(shí)例。
(四)教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn): MapReduce 的基本原理、架構(gòu)以及工作機(jī)制等知識(shí)內(nèi)容。
2.教學(xué)難點(diǎn):MapReduce WordCount 編程實(shí)例;MapReduce 倒排索引編程實(shí) 例
實(shí)踐課 醫(yī)藥大數(shù)據(jù)案例分析
(一)教學(xué)目的
根據(jù)大數(shù)據(jù)系統(tǒng)的需求分析 ,在 Hadoop 框架下 ,基于 Hbase 數(shù)據(jù)庫,綜合 應(yīng)用各項(xiàng)關(guān)鍵技術(shù)完成大數(shù)據(jù)系統(tǒng)的功能。
(二)教學(xué)要求
能在 Hadoop 框架下,綜合大數(shù)據(jù)應(yīng)用系統(tǒng)編程的原理、技術(shù) ,呈現(xiàn)既定的 運(yùn)行結(jié)果。
(三) 教學(xué)內(nèi)容
第一節(jié) 項(xiàng)目概述知識(shí)要點(diǎn): 醫(yī)藥電商大數(shù)據(jù)分析平臺(tái)的形成背景。
第二節(jié) 功能需求知識(shí)要點(diǎn):流量分析、經(jīng)營狀況分析、大數(shù)據(jù)可視化系統(tǒng)。 第三節(jié) 軟件關(guān)鍵技術(shù)知識(shí)要點(diǎn): 醫(yī)藥電商大數(shù)據(jù)分析平臺(tái)的關(guān)鍵技術(shù)。
第四節(jié) 效果展示知識(shí)要點(diǎn): 各類分析效果圖。
第五節(jié) 系統(tǒng)構(gòu)架設(shè)計(jì)知識(shí)要點(diǎn):系統(tǒng)的組成、協(xié)作方式、網(wǎng)絡(luò)拓?fù)洹⒔ㄔO(shè) 方案。
第六節(jié) 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)知識(shí)要點(diǎn):設(shè)計(jì)流量數(shù)據(jù)表、訂單數(shù)據(jù)表、會(huì)員評(píng)價(jià) 表。
第七節(jié) 數(shù)據(jù)分析知識(shí)要點(diǎn):采集、分析數(shù)據(jù)。第八節(jié) 數(shù)據(jù)展示知識(shí)要點(diǎn): 結(jié)果數(shù)據(jù)展示代碼。
(四)教學(xué)重點(diǎn)與難點(diǎn)
1.教學(xué)重點(diǎn): 大數(shù)據(jù)系統(tǒng)的需求分析、Hbase 數(shù)據(jù)庫的建立、程序的設(shè)計(jì) 與實(shí)現(xiàn)。
2.教學(xué)難點(diǎn): 程序的設(shè)計(jì)與實(shí)現(xiàn)。
五 、各教學(xué)環(huán)節(jié)學(xué)時(shí)分配
第一講大數(shù)據(jù)概論
第二講大數(shù)據(jù)集群系統(tǒng)基礎(chǔ)
第三講Hadoop 分布式系統(tǒng)
第四講HDFS 分布式文件系統(tǒng)
第五講MapReduce 分布式計(jì)算
第 6 講醫(yī)藥大數(shù)據(jù)案例分析
六 、教學(xué)手段與方法
1.教學(xué)手段 :本課程主要采用多媒體、課件演示、實(shí)驗(yàn)實(shí)訓(xùn)等教學(xué)手段進(jìn)行 教學(xué)。
2.教學(xué)方法 :本課程主要采用任務(wù)驅(qū)動(dòng)、案例教學(xué)、講授與討論相結(jié)合等教 學(xué)方法進(jìn)行教學(xué) 。課程內(nèi)容主要按大數(shù)據(jù)處理任務(wù)進(jìn)行組織 ,因此可以按解決 相應(yīng)任務(wù)所需的方法技術(shù)進(jìn)行教學(xué)組織和實(shí)踐 。在課程的授課過程中 ,對(duì)于學(xué) 生難以理解的方法技術(shù)都給與案例分析,完整展現(xiàn)相應(yīng)方法技術(shù)是如何實(shí)施和 應(yīng)用的 。另外 ,課程教學(xué)過程中 ,可以圍繞相關(guān)大數(shù)據(jù)處理的任務(wù)組織學(xué)生進(jìn) 行討論,培養(yǎng)學(xué)生主動(dòng)學(xué)習(xí)、解決問題的能力。
七 、考核方式 、考核內(nèi)容及成績(jī)?cè)u(píng)定
1.考核評(píng)價(jià)方式
1)過程性考核評(píng)價(jià)方式。本課程的過程性考核評(píng)價(jià)方式主要包括:考勤、 作業(yè)、討論、隨堂提問等。
2)結(jié)果性考核評(píng)價(jià)方式。本課程的結(jié)果性考核評(píng)價(jià)方式主要是期末考查(開 卷)。根據(jù)各章知識(shí)點(diǎn),設(shè)計(jì)期末考查試卷。
八 、課程教材
[1]朝樂門.數(shù)據(jù)科學(xué)[M].北京:清華大學(xué)出版社,2020.
[2]朝樂門.數(shù)據(jù)科學(xué)理論與實(shí)踐[M].北京:清華大學(xué)出版社,2019.
[3]周蘇,王文.大數(shù)據(jù)導(dǎo)論[M].清華大學(xué)出版社,2020 第一版
[4]許晶華.管理信息系統(tǒng)[M].廣州:華南理工大學(xué)出版社,2015.
[5]黃梯云.管理信息系統(tǒng)[M].北京:高等教育出版社,2019.
[6]薛華成.管理信息系統(tǒng)[M].北京:清華大學(xué)出版社,2020.
李老師
李海良簡(jiǎn)介
李海良,,暨南大學(xué)副教授,碩士生導(dǎo)師,九三學(xué)社社員,中山大學(xué)工學(xué)博士香港城市大學(xué)訪問學(xué)者,廣東工業(yè)大學(xué)校外合作研究生導(dǎo)師。研究方向?yàn)樯疃葘W(xué)習(xí)、圖像識(shí)別、智慧綜合能源和能源大數(shù)據(jù)。在IEEE Transactions on Neural Networks and Learning Systems和Information fusion等TOP期刊第一作者發(fā)表SCI論文6篇,主持省級(jí)課題2項(xiàng),參與國家自然科學(xué)基金1項(xiàng)。長(zhǎng)期擔(dān)任IEEE Internet of Things Journal、International Journal of Communication Systems、IET Computer Vision、IET Image Processing和 IET Radar, Sonar & Navigation等SCI期刊審稿人。曾獲得第六屆全國電子信息科學(xué)博士生論壇論文成果匯報(bào)二等獎(jiǎng)(2017),第七屆全國電子信息科學(xué)博士生論壇論文成果匯報(bào)三等獎(jiǎng)(2016),2020年12月在INSCRYPT 2020 國際會(huì)議擔(dān)任Session chair。
2018年獲得中山大學(xué)工學(xué)博士學(xué)位,2019年至2021年在暨南大學(xué)網(wǎng)絡(luò)安全學(xué)院做博后,合作導(dǎo)師為密碼學(xué)與信息安全領(lǐng)域?qū)<摇医芮辔探〗淌凇?/p>
擅長(zhǎng)操作系統(tǒng)和數(shù)據(jù)庫的安全配置,針對(duì)注入式、篡改、偽造、流量分析以及竊聽等主流攻擊方式有深入研究,在人工智能領(lǐng)域,針對(duì)對(duì)抗樣本攻擊與防御方面發(fā)表多篇SCI論文。
曾參與基于聯(lián)邦學(xué)習(xí)的廣東海關(guān)數(shù)據(jù)隱私保護(hù)系統(tǒng)的研發(fā)工作,參與暨南大學(xué)與金山毒霸的校園網(wǎng)攻防安全軟件的研發(fā)工作
參與基于視頻圖像安全的珠海電力局電纜防外破項(xiàng)目
參與東軟集團(tuán)社保系統(tǒng)和醫(yī)院管理系統(tǒng)的研發(fā)工作
曾經(jīng)為廣東移動(dòng)、深圳市電力局、肇慶學(xué)院、嶺南師范學(xué)院、華南農(nóng)業(yè)大學(xué)、東莞城市學(xué)院、電子科技大學(xué)中山學(xué)院以及鄭州航空工業(yè)管理學(xué)院等知名企業(yè)院校提供培訓(xùn)服務(wù),積累了大量的行業(yè)培訓(xùn)項(xiàng)目經(jīng)驗(yàn)。
擅長(zhǎng)主講課程:
《人工智能》《計(jì)算機(jī)網(wǎng)絡(luò)》《網(wǎng)絡(luò)與信息安全》《軟件工程》《物聯(lián)網(wǎng)》《大數(shù)據(jù)和數(shù)據(jù)科學(xué)》 《網(wǎng)絡(luò)安全》 《互聯(lián)網(wǎng)與人工智能》 《網(wǎng)絡(luò)信息安全與數(shù)據(jù)安全》 《 高級(jí)計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)》 《物聯(lián)網(wǎng)技術(shù)》 《 云計(jì)算與大數(shù)據(jù)算法設(shè)計(jì)》 《軟件工程》 《 研究方法論》 《物聯(lián)網(wǎng)技術(shù)與發(fā)展趨勢(shì) 《網(wǎng)絡(luò)空間安全前沿問題研究》 《智能人機(jī)交互》 《高級(jí)人工智能》 《大數(shù)據(jù)科學(xué)應(yīng)用》 《信息安全》 《高級(jí)軟件工程》 《高級(jí)算法設(shè)計(jì)與分析》
獲獎(jiǎng)經(jīng)歷:
2015年8月 第六屆全國電子信息科學(xué)博士生論壇論文成果匯報(bào)二等獎(jiǎng)
2016年8月 第七屆全國電子信息科學(xué)博士生論壇論文成果匯報(bào)三等獎(jiǎng)
2020年12月 INSCRYPT 2020 Session chair
學(xué)習(xí)經(jīng)歷
2014年9月-2018年6月,中山大學(xué),信息與通信工程,博士研究生
2017年7月-2017年9月,香港城市大學(xué),訪問學(xué)者
工作經(jīng)歷
2019年2月至2021年2月,暨南大學(xué)信息科學(xué)技術(shù)學(xué)院,博士后
研究方向
基于注意力機(jī)制的神經(jīng)網(wǎng)絡(luò),智慧綜合能源和能源大數(shù)據(jù)。
主要論文
1. Hailiang Li, Jian Weng*,Adaptive Dropout Method Based on Biological Principles,IEEE Transactions on Neural Networks and Learning Systems,vol.32,no.9, pp.4267-4276, Sept. 2021,JCR1區(qū),IF:10.451,TOP期刊
2. Hailiang Li, Jian Weng*, A Defense Method Based on Attention Mechanism Against Traffic sign Adversarial samples,Information Fusion,Volume 76, 2021, Pages 55-65,JCR1區(qū),IF:12.975,TOP期刊
3. Hailiang Li, et al,A Semi-automated Annotation Algorithm Based on Weakly Supervised Learning for Medical Images,Biocybernetics and Biomedical Engineering 40 (2020) pp. 787-802, SCI索引,第一作者,影響因子:4.314
4. Hailiang Li, et al,An improved deep learning approach for detection of thyroid papillary cancer in ultrasound images,Scientific Reprots,(2018) 8:6600,SCI索引,第一作者,影響因子:4.379
5.張宇,李海良*.基于RSA的圖像可識(shí)別對(duì)抗攻擊方法[J].網(wǎng)絡(luò)與信息安全學(xué)報(bào),2021,7(05):40-48.通信作者,中國科技核心期刊
承擔(dān)課題
1. 基于注意力機(jī)制的安全性圖像識(shí)別模型研究與應(yīng)用,2021廣東省普通高校特色創(chuàng)新項(xiàng)目,主持,17.12萬元,項(xiàng)目編號(hào):2021KTSCX006;
2. 基于 AIOT 的多維視覺下電力施工人員工作監(jiān)控與管理系統(tǒng),廣東省科技創(chuàng)新戰(zhàn)略專項(xiàng)資金,主持,2萬元,項(xiàng)目編號(hào):PDJH2021b0058;
社會(huì)職務(wù)
廣東工業(yè)大學(xué),校外合作碩士生導(dǎo)師
我要預(yù)訂
咨詢電話:027-5111 9925 , 027-5111 9926手機(jī):18971071887郵箱:Service@mingketang.com
企業(yè)管理培訓(xùn)分類導(dǎo)航
企業(yè)培訓(xùn)公開課日歷
2025年
2024年
研發(fā)管理培訓(xùn)推薦公開課
名課堂培訓(xùn)講師團(tuán)隊(duì)

江新安老師
研發(fā)管理權(quán)威專家,產(chǎn)品管理獨(dú)立學(xué)者 產(chǎn)品全生命周期管理WPLM之父 GE原產(chǎn)品戰(zhàn)略經(jīng)理 益思研發(fā)咨詢...

王小剛老師
王老師擁有13年的研發(fā)、項(xiàng)目管理與質(zhì)量管理經(jīng)驗(yàn),曾先后供職于華為技術(shù)有限公司、國際商用機(jī)器技術(shù)有限公...