資源簡介

(共25張PPT)
數據管理與大數據
1.4 數據管理與安全：思維導圖
lwqw400ymh
Cindycy1/2ezdgg
while(1)Ape1Cry&&Ape2Cry
密碼多了記不住？
復習
3、1000個蘋果裝入10個箱子，該怎么裝？
2、數據：結構化、半結構化、非結構化
1、怎么維護數據安全
4、pdf wav zip
復習
數據庫技術
問題：如何管理生活中的數據？
數據庫技術：基于結構化數據開發的，具有數據獨立性、數據可共享等特點。
①解決數據冗余的問題。
②解決維護、更新數據時需要大量的人工干預的問題。
問題：如何理解書本中關于結構化、半結構化和非結構化數據的描述？(P24)
拓展鏈接
問題1：經常接到廣告推銷的電話，他們是怎么知道我們的號碼？
數據安全
問題2：威脅數據安全的因素有哪些？
硬盤驅動器損壞、操作失誤、黑客入侵、感染計算機病毒、遭受自然災害。
問題3：如何提高數據本身的安全？(P24)
（1）保護存儲數據的介質：磁盤陣列、數據備份、異地容災
（2）提高數據本身的安全：數據加密、數據校驗
1.4 數據管理與安全：思維導圖
數據與大數據
互聯網、移動網絡、物聯網等每天都產生著大量數據，這些數據規模巨大、格式多樣，已經很難用傳統的方式進行處理。于是，大數據技術應運而生，通過分析、挖掘這些數據，發現其中蘊藏的價值。那么，什么是大數據？
大數據之“大”，不僅指規模、速度和種類的特征，還意味著它超出以往常用的數據采集、組織、管理和加工等軟件的處理能力，要求新型集成技術從多元、復雜和巨量規模的數據集里洞察規律。
大數據特征(P26)
數據量大就是大數據嗎？
大數據有四個特征,分別為：
數據規模大、處理速度快、數據類型多、價值密度低。
可以用4個V來概括：
數量（Volume）、速度（Velocity）、多樣（Variety）、價值（Value）
大數據思維(P27)
1.大數據要分析的是全體數據，而不是抽樣數據。
2.對于數據不再追求精確性，而是能夠接受數據的混雜性。
3.不一定強調對事物因果關系的探求，而是更加注重它們的相關性。
大數據是一場變革，改變的不僅是數據，還有人們的思維
大數據對社會的影響(P28)
1.大數據讓生活更便利（如：城市熱力圖）
2.大數據讓決策更精準（如：利用共享單車產生的大數據，精確地制定更為利民的交通路線圖）
3.大數據帶來新的就業需求（如：系統研發工程師）
4.大數據帶來新的社會問題（如：個人信息泄露）
“我們相信技術可以成為推動生活改變的最大力量，技術本身沒有好與壞，他們什么都不想要，一切由我們人來決定，由我們每個人來決定。”
1.5 數據與大數據：思維導圖
1.5.2大數據的特征
大數據通常指100 TB（ 1TB=1024 GB ）規模以上的數據量，數據量大是大數據的基本屬性。根據國際數據資訊（IDC）公司監測，全球數據量大約每兩年就翻一番，預計到2020年，全球將擁有35 ZB 的數據，并且85%以上的數據以非結構化或半結構化的形式存在。
一、數據體量大（Volume）
K 1KB = 1024 Byte
M（兆）字節 1MB = 1024 KB
G（吉）字節 1GB = 1024 MB
T（太）字節 1TB = 1024 GB
P（拍）字節 1PB = 1024 TB
E（艾）字節 1EB = 1024 PB
Z（澤）字節 1ZB = 1024 EB
Y（堯）字節 1YB = 1024 ZB
……
1.5.2大數據的特征
大數據通常指100 TB（ 1TB=1024 GB ）規模以上的數據量，數據量大是大數據的基本屬性。根據國際數據資訊（IDC）公司監測，全球數據量大約每兩年就翻一番，預計到2020年，全球將擁有35 ZB 的數據，并且85%以上的數據以非結構化或半結構化的形式存在。
一、數據體量大（Volume）
K 1KB = 1024 Byte
M（兆）字節 1MB = 1024 KB
G（吉）字節 1GB = 1024 MB
T（太）字節 1TB = 1024 GB
P（拍）字節 1PB = 1024 TB
E（艾）字節 1EB = 1024 PB
Z（澤）字節 1ZB = 1024 EB
Y（堯）字節 1YB = 1024 ZB
……
1.5.2大數據的特征
一、數據體量大（Volume）
IDC全球數據使用情況及預測
之所以產生如巨大的數據原因有三點：
1. 由于互聯網絡的廣泛應用，使用網絡的用戶、企業、機構增多，數據獲取、分享變得相對容易。用戶可通過網絡非常方便的獲取數據，通過有意的分享和無意的點擊、瀏覽可快速的提供大量的數據；
2. 隨著各種傳感器數據獲取能力的大幅度提高，使得人們獲取的數據越來越接近原始事物本身，描述同一事物的數據激增；
3. 由于集成電路的價格降低，使得很多東西都保存了下來。
1.5.2大數據的特征
二、速度快(Velocity)
1. 數據產生的速度快。新時代人們從信息的被動接受者變成了主動創造者。數據從生成到消耗，時間窗口非常小，可用于生成決策的時間非常短。
1.5.2大數據的特征
二、速度快(Velocity)
2. 數據處理的速度快。大數據對處理速度有非常嚴格的要求，服務器中大量的資源都用于處理和計算數據，很多平臺都需要做到實時分析。數據無時無刻不在產生，誰的數據處理速度更快，誰就有優勢。
1.5.2大數據的特征
三、數據類型多（Variety )
數據種類繁多、復雜多變是大數據的重要特性。隨著傳感器種類的增多及智能設備、社交網絡等的流行，數據種類也變得更加復雜，其包括結構化數據、半結構化數據和非結構化數據。其中，10%是結構化數據，存儲在數據庫中；90%是非結構化數據，與人類信息密切相關。
1.5.2大數據的特征
四、價值密度低(Value)
大數據蘊含著巨大的價值，但因其數據量龐大，可能發揮價值的僅是其中非常小的部分，價值密度相對較低。
以當前廣泛應用的監控視頻為例，在連續不，間斷的監控過程中，大量的視頻數據被存儲下來，其中有許多冗余數據。比如某起交通事故的視頻畫面，有效的部分可能僅僅只需要幾秒鐘，大量不相關的視頻信息會增加獲取有效數據的難度。價值密度的高低與數據總量的大小成反比，“提純”大數據，讓其發揮更大的價值，是人們一直在努力的目標。
1.5.3大數據思維
大數據是一場變革， 改變的不僅是數據，還有人們的思維。
首先，大數據要分析的是全體數據，而不是抽樣數據。
以往對于某項研究中的數據，限于技術等因素，人們無法進行全樣本分析，往往會隨機抽取部分樣本進行研究，以此推論全體情況。抽樣數據分析的方式效率較高，經常被人們采用，但這種方式取決于抽取樣本的隨機性，在某些情況下，不同的樣本可能會得出截然不同的結論。
在大數據時代，人們不僅可以獲得研究所需的直接數據，而且還能對與之有關聯的所有數據進行分析。分析數據已經不再依賴于采樣，從而帶來更全面的認識，也能更清楚地發現抽樣數據無法揭示的詳盡信息。
1.5.3大數據思維
大數據是一場變革， 改變的不僅是數據，還有人們的思維。
其次，對于數據不再追求精確性，而是能夠接受數據的混雜性。
對于傳統的數據庫，數據有嚴謹的結構，人們追求數據的準確性，通過各種技術或人工手段，來保證每個數據準確無誤。
而在大數據處理過程中，數據的來源多種多樣，這些數據可以是結構化的、半結構化的，也可以是非結構化的。當數據量大到一定程度時，個別數據的不準確就顯得不那么重要。
1.5.3大數據思維
大數據是一場變革， 改變的不僅是數據，還有人們的思維。
再次，不一定強調對事物因果關系的探求，而是更加注重它們的相關性。在傳統的思維方式中，人們往往執著于現象背后的因果關系，試圖通過有限樣本數據來剖析其中的內在機理。這種思維方式有一定的局限性，此外，有限的樣本數據也無法反映出事物之間的相關關系。在大數據時代，比如電商的個性化推薦，不必知道人們購買某些商品的原因，只要找到商品之間的關聯性，就能為客戶提供精確的推薦。

展開更多......

收起↑