redis緩存系統(tǒng)課程大綱
1) redis特點(diǎn)、與其他數(shù)據(jù)庫(kù)的比較
2) 如何安裝redis
3) 如何使用命令行客戶端
4) redis的字符串類型
5) redis的散列類型
6) redis的列表類型
7) redis的集合類型
8) 如何使用java訪問(wèn)redis【a.python訪問(wèn)redis,scala訪問(wèn)redis】
9) redis的事務(wù)(transaction)
10) redis的管道(pipeline)
11) redis持久化(AOF+RDB)
12) redis優(yōu)化
13) redis的主從復(fù)制
14) redis的sentinel高可用
15) twemproxy,codis實(shí)戰(zhàn)
16) redis3.x集群安裝配置
Kafka課程
Kafka是當(dāng)下流行的隊(duì)列，可以說(shuō)是從數(shù)據(jù)采集到大數(shù)據(jù)計(jì)算承上啟下的重要環(huán)節(jié)，大家在此部分將會(huì)詳細(xì)學(xué)習(xí)它的架構(gòu)，kafka在大家大數(shù)據(jù)的項(xiàng)目中幾乎都會(huì)涉及到。
1) kafka是什么
2) kafka體系結(jié)構(gòu)
3) kafka配置詳解
4) kafka的安裝
5) kafka的存儲(chǔ)策略
6) kafka分區(qū)特點(diǎn)
7) kafka的發(fā)布與訂閱
8) zookeeper協(xié)調(diào)管理
9) java編程操作kafka
10) scala編程操作kafka
11) flume 和kafka 的整合
12) Kafka 和storm 的整合
Storm實(shí)時(shí)數(shù)據(jù)處理
本部分學(xué)習(xí)過(guò)后，大家將全面掌握Storm內(nèi)部機(jī)制和原理，通過(guò)大量項(xiàng)目實(shí)戰(zhàn)，讓大家擁有完整項(xiàng)目開(kāi)發(fā)思路和架構(gòu)設(shè)計(jì)，掌握從數(shù)據(jù)采集到實(shí)時(shí)計(jì)算到數(shù)據(jù)存儲(chǔ)再到前臺(tái)展示，所有工作一個(gè)人搞定！譬如可以一個(gè)人搞定淘寶雙11大屏幕項(xiàng)目！不光從項(xiàng)目的開(kāi)發(fā)的層次去實(shí)現(xiàn)，并可以從架構(gòu)的層次站在架構(gòu)師的角度去完成一個(gè)項(xiàng)目。
項(xiàng)目技術(shù)架構(gòu)體系：
1) Storm的基本概念
2) Storm的應(yīng)用場(chǎng)景
3) Storm和Hadoop的對(duì)比
4) Storm集群的安裝的linux環(huán)境準(zhǔn)備
5) zookeeper集群搭建
6) Storm集群搭建
7) Storm配置文件配置項(xiàng)講解
8) 集群搭建常見(jiàn)問(wèn)題解決
9) Storm常用組件和編程API：Topology、 Spout、Bolt
10) Storm分組策略(stream groupings)
11) 使用Strom開(kāi)發(fā)一個(gè)WordCount例子
12) Storm程序本地模式debug、Storm程序遠(yuǎn)程debug
13) Storm事物處理
14) Storm消息可靠性及容錯(cuò)原理
15) Storm結(jié)合消息隊(duì)列Kafka：消息隊(duì)列基本概念(Producer、Consumer、Topic、Broker等)、消息隊(duì)列Kafka使用場(chǎng)景、Storm結(jié)合Kafka編程API
16) Storm Trident概念
17) Trident state 原理
18) Trident開(kāi)發(fā)實(shí)例
19) Storm DRPC(分布式遠(yuǎn)程調(diào)用)介紹
20) Storm DRPC實(shí)戰(zhàn)講解
21) Storm和Hadoop 2.x的整合：Storm on Yarn
Storm開(kāi)發(fā)實(shí)戰(zhàn)： Kafka+Storm+Hbase+redis項(xiàng)目實(shí)戰(zhàn)，以及多個(gè)案例
項(xiàng)目實(shí)戰(zhàn)
中 國(guó)移動(dòng)基站保障平臺(tái) 一個(gè)市級(jí)移動(dòng)公司，每天的產(chǎn)生海量話務(wù)數(shù)據(jù)（一線城市更高），通過(guò)大數(shù)實(shí)時(shí)分析，監(jiān)控每個(gè)基站的掉話率，基站通話總數(shù)，基站掉話總數(shù)，基站告警，3g/4g上網(wǎng)流量實(shí)時(shí)監(jiān)控。對(duì)以上維度進(jìn)行實(shí)時(shí)分析以達(dá)到對(duì)基站工作情況的監(jiān)控。
項(xiàng)目技術(shù)架構(gòu)體系：
Storm+hbase+kafka+flume+echarts
a) flume實(shí)時(shí)采集日志
b) kafka緩沖隊(duì)列
c) storm實(shí)時(shí)處理
d) Hbase dao存儲(chǔ)處理結(jié)果
e) 前端Web實(shí)時(shí)展示報(bào)表