資源簡介

(共10張PPT)
第十三課、大數據處理
信息技術
七年級上
新課導入
在數量較小的情況下，單臺計算機的數據處理速度可以很快，但是處理速度會隨著數據量的增加而變得越來越緩慢。因此在大數據時代，需要優化的思路方式來應對大數據的處理。
大數據處理的基本思想
01
大數據處理的基本思想
新課導入
“分治法”又稱分治策略，顧名思義，就是分而治之的意思。它的基本思想是將難以解決的、規模較大的問題，分解成若干個能直接解決的、相互獨立的子問題，這些子問題與原問題性質相同。求出子問題的解，就可以得到原問題的解，即一種分目標完成的程序算法。
分治法
01
大數據處理的基本思想
新知講解
01
大數據處理的基本思想
分治所能解決的問題一般具有以下幾個特征：
該問題的規?？s小到一定的程度就可以容易地解決；
該問題可以分解為若干個規模較小的相同問題，即該問題具有最優子結構性質
利用該問題分解出的子問題的解可以合并為該問題的解；
該問題所分解出的各個子問題是相互獨立的，即子問題之間不包含公共的子問題。
總體思想：
將要求解的較大規模的問題分割成k個更小規模的子問題。
對這k個子問題分別求解。如果子問題的規模仍然不夠小，則再劃分為k個子問題，如此遞歸的進行下去，直到問題規模足夠小，很容易求出其解為止。
將求出的小規模的問題的解合并為一個更大規模的問題的解，自底向上逐步求出原來問題的解。
02
大數據處理的類型
大數據處理按照類型一般可以分為三種：
1、靜態數據的批處理
2、對數據的實時計算
3、對圖數據的圖計算
不同的處理類型都有相應的分布式處理框架或平臺。
大數據處理
靜態處理
流數據
圖數據
批處理技算
流計算
圖計算
新知講解
02
大數據處理的類型
Hadoop是對靜態數據批處理計算時比較常用的一種框架：
1、可以實現卡計算機節點的數據并行處理。
2、通過不斷增加節點方式處理不斷增加的數據，從而保持高效、穩定的處理水平，獲得及時、準確的處理結果。
3、核心組件：一是Hadoop分布式文件系統HDFS，它是一種可靠的、搞寬帶、低成本的數據存儲集群，主要是將大規模數據以文件形式用于多個副本保存在不同的存儲節點中，并用分布式系統進行管理。二是MapReduce,這是一種分布式進行編輯模型，能夠處理大數據集的并行運算，它的計算由Map（映射）和
Reduce（歸納）兩個函數來實現處理。
新知講解
拓展延伸
04
大數據處理流程
數據分析：大數據處理最重要的環節就是數據分析，數據分析通常分為兩種：批處理和流處理。
批處理：對一段時間內海量的離線數據進行統一的處理，對應的處理框架有
Hadoop
MapReduce、Spark、Flink
等；
流處理：對運動中的數據進行處理，即在接收數據的同時就對其進行處理，對應的處理框架有
Storm、Spark
Streaming、Flink
Streaming
等。
課堂練習
描述一個生活中可以通過“分治法”來解決實際問題。
01
謝謝
21世紀教育網（www.21cnjy.com)
中小學教育資源網站
有大把高質量資料？一線教師？一線教研員？
歡迎加入21世紀教育網教師合作團隊?。≡滦竭^萬不是夢??！
詳情請看：
https://www.21cnjy.com/help/help_extract.php中小學教育資源及組卷應用平臺
第十三課
大數據處理
教學設計
1教學目標
1、
通過案例分析學習與探討、理解分治法和并行處理。
2、
通過了解大數據處理的類型，認識常用的大數據分布式處理框架Hadoop。。
3、
通過對分治法和并行處理的理解，訓練計算思維，提高解決生活中實際問題的能力。
2重點難點
★教學重點：大數據處理的基本思想，大數據處理類型。
★教學難點：分治法、并行處理的理解，大數據處理類型的區分，電信處理類型的歸類。
3教學過程
一、新課講授
大數據處理的基本思想：在數量較小的情況下，單臺計算機的數據處理速度可以很快，但是處理速度會隨著數據量的增加而變得越來越緩慢。因此在大數據時代，需要優化的思路方式來應對大數據的處理。
1、分治法
“分治法”又稱分治策略，顧名思義，就是分而治之的意思。它的基本思想是將難以解決的、規模較大的問題，分解成若干個能直接解決的、相互獨立的子問題，這些子問題與原問題性質相同。求出子問題的解，就可以得到原問題的解，即一種分目標完成的程序算法。
總體思想：
?
將要求解的較大規模的問題分割成k個更小規模的子問題。
?
對這k個子問題分別求解。如果子問題的規模仍然不夠小，則再劃分為k個子問題，如此遞歸的進行下去，直到問題規模足夠小，很容易求出其解為止。
?
將求出的小規模的問題的解合并為一個更大規模的問題的解，自底向上逐步求出原來問題的解。
分治所能解決的問題一般具有以下幾個特征：
?
該問題的規?？s小到一定的程度就可以容易地解決；
?
該問題可以分解為若干個規模較小的相同問題，即該問題具有最優子結構性質
?
利用該問題分解出的子問題的解可以合并為該問題的解；
?
該問題所分解出的各個子問題是相互獨立的，即子問題之間不包含公共的子問題。
任務：學生自己百度搜索有關“數據分析報告的樣版”，了解數據分析報告的寫作樣例，如何寫出一份完整的數據分析報告。
大數據的處理類型：
大數據處理按照類型一般可以分為三種：
1、靜態數據的批處理
2、對數據的實時計算
3、對圖數據的圖計算
不同的處理類型都有相應的分布式處理框架或平臺。
Hadoop
(?https:?/??/?haokan.baidu.com?/?v?vid=7716051625015575404&pd=bjh&fr=bjhauthor&type=video?)是對靜態數據批處理計算時比較常用的一種框架：
(?https:?/??/?haokan.baidu.com?/?v?vid=7716051625015575404&pd=bjh&fr=bjhauthor&type=video?)
1、可以實現卡計算機節點的數據并行處理。
2、通過不斷增加節點方式處理不斷增加的數據，從而保持高效、穩定的處理水平，獲得及時、準確的處理結果。
3、核心組件：一是Hadoop分布式文件系統HDFS，它是一種可靠的、搞寬帶、低成本的數據存儲集群，主要是將大規模數據以文件形式用于多個副本保存在不同的存儲節點中，并用分布式系統進行管理。二是MapReduce,這是一種分布式進行編輯模型，能夠處理大數據集的并行運算，它的計算由Map（映射）和
Reduce（歸納）兩個函數來實現處理。
二、拓展延伸
大數據處理流程：
數據分析：大數據處理最重要的環節就是數據分析，數據分析通常分為兩種：批處理和流處理。
?
批處理：對一段時間內海量的離線數據進行統一的處理，對應的處理框架有
Hadoop
MapReduce、Spark、Flink
等；
?
流處理：對運動中的數據進行處理，即在接收數據的同時就對其進行處理，對應的處理框架有
Storm、Spark
Streaming、Flink
Streaming
等。
三、課后作業
1、描述一個生活中可以通過“分治法”來解決實際問題。
大數據處理
靜態處理
流數據
圖數據
批處理技算
流計算
圖計算
21世紀教育網
www.21cnjy.com
精品試卷·第
2
頁
（共
2
頁）
HYPERLINK
"http://www.21cnjy.com/"
21世紀教育網(www.21cnjy.com)

展開更多......

收起↑