資源簡介

第 1 章 數(shù)據(jù)與數(shù)據(jù)科學(xué)
1.1 從數(shù)據(jù)到數(shù)據(jù)科學(xué)
教學(xué)設(shè)計(jì)
教學(xué)背景
信息科技是現(xiàn)代科學(xué)技術(shù)領(lǐng)域的重要部分，主要研究以數(shù)字形式表達(dá)的信息及其應(yīng)用中的科學(xué)原理、思維方法、處理過程和工程實(shí)現(xiàn)。當(dāng)代高速發(fā)展的信息科技對全球經(jīng)濟(jì)、社會(huì)和文化發(fā)展起著越來越重要的作用。
義務(wù)教育信息科技課程具有基礎(chǔ)性、實(shí)踐性和綜合性，為高中階段信息技術(shù)課程的學(xué)習(xí)奠定基礎(chǔ)。信息科技課程旨在培養(yǎng)科學(xué)精神和科技倫理，提升自主可控意識(shí)，培育社會(huì)主義核心價(jià)值觀，樹立總體國家安全觀，提升數(shù)字素養(yǎng)與技能。
教材分析
本節(jié)課的教學(xué)內(nèi)容選自人教/地圖出版社選擇性必修3 數(shù)據(jù)管理與分析　第 1 章 數(shù)據(jù)與數(shù)據(jù)科學(xué)　1.1 從數(shù)據(jù)到數(shù)據(jù)科學(xué) 。
自然界的各種現(xiàn)象，植物的生長、動(dòng)物的習(xí)性、人類的思想行為......都可以用數(shù)據(jù)的形式存儲(chǔ)在各類載體之中。隨著大數(shù)據(jù)、云計(jì)算和人工智能技術(shù)的發(fā)展和應(yīng)用，數(shù)據(jù)已經(jīng)成為信息社會(huì)的重要資源，成為支撐科學(xué)研究、技術(shù)進(jìn)步和社會(huì)發(fā)展不可或缺的基礎(chǔ)。因此，我們可以從社會(huì)生產(chǎn)生活中提取數(shù)據(jù)，然后利用計(jì)算思維、運(yùn)算方法、算法模型等，研究這些數(shù)據(jù)的類型、狀態(tài)、屬性以及變化形式和規(guī)律，并通過科學(xué)的管理和分析，獲取有價(jià)值的信息，從而構(gòu)建知識(shí)、獲得智慧，為社會(huì)經(jīng)濟(jì)發(fā)展提供決策依據(jù)。
教學(xué)目標(biāo)
1.進(jìn)一步理解數(shù)據(jù)的含義及其價(jià)值。
2.進(jìn)一步理解大數(shù)據(jù)及其應(yīng)用價(jià)值。
3.了解數(shù)據(jù)、大數(shù)據(jù)與數(shù)據(jù)科學(xué)的關(guān)系。
4.認(rèn)識(shí)數(shù)據(jù)科學(xué)的內(nèi)涵，感受數(shù)據(jù)科學(xué)研究的重要意義。
教學(xué)重點(diǎn)與難點(diǎn)
教學(xué)重點(diǎn):進(jìn)一步理解數(shù)據(jù)的含義及其價(jià)值。
教學(xué)難點(diǎn):了解數(shù)據(jù)、大數(shù)據(jù)與數(shù)據(jù)科學(xué)的關(guān)系。
教學(xué)方法與教學(xué)手段
案例分析法、講授法、任務(wù)驅(qū)動(dòng)法。
教學(xué)過程
問題導(dǎo)入
體驗(yàn)探索
城市里的數(shù)據(jù)
提起城市，你的腦海中會(huì)閃現(xiàn)什么樣的景象？請用幾個(gè)關(guān)鍵詞描繪城市印象。
透過城市的表面現(xiàn)象（圖 1.1.1），你認(rèn)為是什么在“暗暗地”支撐著城市的正常運(yùn)轉(zhuǎn)呢？城市的一般印象往往離不開高樓大廈、寬闊的街道、車水馬龍、人來人往、繁忙的地鐵、設(shè)施齊全的社區(qū)......在描述是什么在支持城市運(yùn)轉(zhuǎn)時(shí)，也許你會(huì)想到“技術(shù)”“管理”“監(jiān)控”“決策”等詞匯。事實(shí)上，“數(shù)據(jù)”既是城市運(yùn)轉(zhuǎn)與發(fā)展的無形資源支持，也是巨大的財(cái)富。不僅是城市，其實(shí)只要有人生活的地方，人們都在不斷地創(chuàng)造數(shù)據(jù)、產(chǎn)生數(shù)據(jù)。
觀察與思考：觀察周圍環(huán)境（學(xué)校、社區(qū)和街道）并描述其景象；思考：這些景象可能涉及哪些數(shù)據(jù)？人們的哪些活動(dòng)在創(chuàng)造和產(chǎn)生數(shù)據(jù)？
數(shù)據(jù)及其價(jià)值
前面的體驗(yàn)探索告訴我們：在熱鬧繁華的城市景象中隱藏著豐富的數(shù)據(jù)。數(shù)據(jù)是描述事物的符號記錄，是信息的載體。在計(jì)算機(jī)科學(xué)中，數(shù)據(jù)是計(jì)算機(jī)識(shí)別、存儲(chǔ)和加工的對象，例如字符、圖像和音頻等。
每個(gè)人都在創(chuàng)造數(shù)據(jù)，例如：打電話產(chǎn)生的數(shù)據(jù)可以用來改進(jìn)通話網(wǎng)絡(luò)；乘坐公共交通工具的數(shù)據(jù)可以用來優(yōu)化公交網(wǎng)絡(luò)；購買商品產(chǎn)生的數(shù)據(jù)可以用來調(diào)整生產(chǎn)與進(jìn)貨規(guī)模。與此同時(shí)，人們在不斷通過各種信息工具獲取數(shù)據(jù)，如交通擁堵、空氣質(zhì)量、天氣、高校錄取率、醫(yī)院專家出診、居民收入水平等。數(shù)據(jù)已成為重要的信息資源。
人們可以從數(shù)據(jù)中獲得對自己有價(jià)值的信息，更重要的是可以學(xué)習(xí)知識(shí)、增長智慧。要理解“數(shù)據(jù)具有價(jià)值”這句話，首先要了解數(shù)據(jù)、信息、知識(shí)與智慧的關(guān)系。
思考活動(dòng)
對牙膏瓶蓋的思考
趙明生活在北方，冬天比較干燥。他買了一支按蓋型牙膏，才用了 2 天，擠牙膏就很費(fèi)勁。他發(fā)現(xiàn)，瓶口被干硬的牙膏堵住了。他很快意識(shí)到：該品牌按蓋的密封性不好，北方干燥的氣候使牙膏水分被快速蒸發(fā)掉。他陷入了思考：該品牌的按蓋設(shè)計(jì)有什么缺陷？其他品牌的按蓋又是如何設(shè)計(jì)的？通過對比后，他決定以后改買擰蓋型的牙膏或另一個(gè)品牌的按蓋型牙膏。
思考：對牙膏瓶蓋的缺陷，趙明經(jīng)歷了怎樣的一個(gè)思維過程？
趙明以上的思維過程，可以按數(shù)據(jù)、信息、知識(shí)、智慧逐層來分析（圖 1.1.2），他的思考不僅可以改進(jìn)產(chǎn)品，為廠家提升效益，同時(shí)也為自己以后購買牙膏時(shí)提供了決策。
數(shù)據(jù)描述了事物客觀存在的各種屬性，信息是經(jīng)過加工處理后的數(shù)據(jù)，知識(shí)是有組織的、被記憶的信息，智慧是知識(shí)的有效應(yīng)用。通常，人們能相對容易地從數(shù)據(jù)中獲取對自己有用的信息，但要把數(shù)據(jù)或信息轉(zhuǎn)化為知識(shí)、智慧，往往需要深入的分析與挖掘。只有這樣，才能發(fā)揮數(shù)據(jù)的價(jià)值，讓它成為改造社會(huì)的智慧工具。
圖 1.1.3 所示的 DIKW（data information knowledge wisdom，數(shù)據(jù)信息知識(shí)智慧）金字塔，表明了從“數(shù)據(jù)”到“智慧”的轉(zhuǎn)變過程，同時(shí)也是“從認(rèn)識(shí)部分到理解整體、從描述過去與現(xiàn)在到預(yù)測未來”的過程，簡明地描繪了數(shù)據(jù)、信息、知識(shí)、智慧的聯(lián)系。
數(shù)據(jù)的價(jià)值在于發(fā)現(xiàn)其背后的事實(shí)與規(guī)律，并通過信息、知識(shí)、智慧三個(gè)層面體現(xiàn)。對個(gè)人來說，只要能從數(shù)據(jù)中獲得有用的信息、支持自己做決策，數(shù)據(jù)就有價(jià)值；而這些信息讓你對事物有了新的認(rèn)知或者構(gòu)建了新的知識(shí)，數(shù)據(jù)的價(jià)值就得到了提升；如果這些信息或知識(shí)讓你在思考和創(chuàng)新方面取得了進(jìn)步，就產(chǎn)生了智慧的價(jià)值。
思考活動(dòng)
維修數(shù)據(jù)與遙控器的改良
陳捷是多家品牌電視機(jī)的售后修理人員。他在整理和打印工作清單（包含設(shè)備名稱、品牌、損壞部位、修理措施、費(fèi)用等）時(shí)，得到這樣的信息：遙控器修理中，99% 的用戶都是修理開關(guān)鍵和頻道切換鍵，極個(gè)別用戶修理音量調(diào)節(jié)鍵。
思考：你能從以上數(shù)據(jù)中獲得更多信息嗎？你認(rèn)為從陳捷的工作清單中，還可以進(jìn)行哪些方面的數(shù)據(jù)調(diào)查？你會(huì)給廠家提出什么建議？
不難發(fā)現(xiàn)，從數(shù)據(jù)到信息、知識(shí)、智慧，其中的任何一個(gè)環(huán)節(jié)都需要對數(shù)據(jù)進(jìn)行有效的管理與分析。對個(gè)人來說，這些工作很多時(shí)候是潛移默化、無意識(shí)展開的。事實(shí)上，大腦在進(jìn)行這一系列思維活動(dòng)時(shí)，已經(jīng)涉及數(shù)據(jù)分析與呈現(xiàn)的相關(guān)知識(shí)。
項(xiàng)目實(shí)施
了解送貨機(jī)器人與數(shù)據(jù)的關(guān)系
小組成員一起細(xì)化項(xiàng)目學(xué)習(xí)計(jì)劃，調(diào)查送貨機(jī)器人的應(yīng)用情況，以及送貨機(jī)器人送貨過程中所涉及的數(shù)據(jù)。
1. 小組成員一起討論，確定要調(diào)研的內(nèi)容、活動(dòng)過程和具體實(shí)施方法，然后進(jìn)行任務(wù)分工，明確各自的任務(wù)。
2. 參考表 1.1.1 進(jìn)行調(diào)研，了解國內(nèi)外有哪些公司正在研制送貨機(jī)器人，這些送貨機(jī)器人在哪些城市或路段試用。
表 1.1.1 送貨機(jī)器人研制與試用調(diào)研表
研制送貨機(jī)器人的公司 送貨機(jī)器人功能簡介 試用的城市或路段
3. 簡述送貨機(jī)器人在送貨過程中涉及的主要數(shù)據(jù)，以及這些數(shù)據(jù)對送貨機(jī)器人所起的決策作用（參考表 1.1.2）。
表 1.1.2 送貨機(jī)器人涉及的數(shù)據(jù)及其作用
數(shù) 據(jù) 數(shù)據(jù)隱含的價(jià)值 決策作用
與物流相關(guān)的數(shù)據(jù)
與路線相關(guān)的數(shù)據(jù)
大數(shù)據(jù)及其應(yīng)用價(jià)值
大數(shù)據(jù)正在改變著人們的工作、生活與思維模式，進(jìn)而對文化、技術(shù)和學(xué)術(shù)研究產(chǎn)生深遠(yuǎn)的影響。
思考活動(dòng)
大數(shù)據(jù)與流感趨勢預(yù)測
新型流感病例的發(fā)現(xiàn)到通告，時(shí)間上一般會(huì)有延遲，從而導(dǎo)致公共衛(wèi)生機(jī)構(gòu)無法
及時(shí)應(yīng)對。在流感高發(fā)地區(qū)，流感相關(guān)知識(shí)的搜索趨勢與流感的流行趨勢及嚴(yán)重程度
存在一定的相關(guān)性。把這些搜索結(jié)果匯總起來，達(dá)到足夠數(shù)量時(shí)，就可以建立一個(gè)數(shù)據(jù)系統(tǒng)，用于實(shí)時(shí)監(jiān)控流感疫情，預(yù)測未來疫情狀況。2008 年，工程師們曾推出了流感指數(shù)的相應(yīng)產(chǎn)品，用于預(yù)測流感疫情。我國相關(guān)機(jī)構(gòu)也根據(jù)搜索的數(shù)據(jù)進(jìn)行了分析，為預(yù)測流感提供了決策依據(jù)，并為居民提供預(yù)警服務(wù)。例如，自2015年3月以來，深圳市疾病預(yù)防控制中心開始定期提供流感指數(shù)預(yù)警服務(wù)（圖 1.1.4），提醒人們注意防范。
思考：如何從流感程度、流感周期、疾病特征、需求特征、地域特征、人群特征等方面入手，利用網(wǎng)絡(luò)大數(shù)據(jù)監(jiān)測和預(yù)防流感疫情？
物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)計(jì)算等技術(shù)的發(fā)展，實(shí)現(xiàn)了人與人、人與物、物與物之間的互聯(lián)，引發(fā)了數(shù)據(jù)規(guī)模的爆炸式增長和數(shù)據(jù)模式的高度復(fù)雜化，世界已進(jìn)入大數(shù)據(jù)時(shí)代。
大數(shù)據(jù)的內(nèi)涵
不同領(lǐng)域的專家對大數(shù)據(jù)有不同的理解，下面從不同角度列舉主要的三種。
計(jì)算機(jī)科學(xué)與技術(shù)。當(dāng)數(shù)據(jù)的量、復(fù)雜程度、處理的任務(wù)要求等超出了傳統(tǒng)數(shù)據(jù)的存儲(chǔ)與計(jì)算能力時(shí)，就可以稱為“大數(shù)據(jù)”。這是從存儲(chǔ)和計(jì)算能力的視角來認(rèn)識(shí)的，主要涉及數(shù)據(jù)存量、數(shù)據(jù)增量、復(fù)雜程度和處理要求等。
統(tǒng)計(jì)學(xué)。當(dāng)能夠收集足夠的全部或絕大部分個(gè)體的數(shù)據(jù)，且計(jì)算能力足夠強(qiáng)，可以不用抽樣，在總體數(shù)據(jù)上就可以進(jìn)行統(tǒng)計(jì)分析時(shí)，就被稱為“大數(shù)據(jù)”。可見，這一領(lǐng)域認(rèn)為大數(shù)據(jù)不是絕對概念，而是相對于總體規(guī)模和統(tǒng)計(jì)分析方法選擇的相對概念。
機(jī)器學(xué)習(xí)。當(dāng)訓(xùn)練集足夠大且計(jì)算能力足夠強(qiáng)，只需通過對已有的實(shí)例進(jìn)行簡單查詢即可達(dá)到“智能計(jì)算的效果”時(shí)，這里的數(shù)據(jù)一般需要大數(shù)據(jù)的支撐。機(jī)器學(xué)習(xí)就是用數(shù)據(jù)或以往的經(jīng)驗(yàn)優(yōu)化計(jì)算機(jī)程序的性能標(biāo)準(zhǔn)，這也是大數(shù)據(jù)應(yīng)用的典型案例。
閱讀拓展
人工智能與數(shù)據(jù)庫
在人工智能系統(tǒng)中，除了先進(jìn)的硬件、軟件系統(tǒng)，還需要大型數(shù)據(jù)庫的支撐。 例如，阿爾法圍棋（AlphaGo）不僅記憶超強(qiáng)、計(jì)算速度快，還能夠自主學(xué)習(xí)。其核心系統(tǒng)是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，即模擬人腦的神經(jīng)網(wǎng)絡(luò)，通過數(shù)據(jù)分析，學(xué)習(xí)了大量的職業(yè)棋手棋譜，再通過增強(qiáng)學(xué)習(xí)方法的自我博弈，尋找比基礎(chǔ)棋譜更多的打點(diǎn)來擊敗人類。
大數(shù)據(jù)的主要特征
從不同的領(lǐng)域看，大數(shù)據(jù)表現(xiàn)出多種不同的特征。但通常認(rèn)為，它具有巨量性、多樣性、迅變性、價(jià)值性等特征（圖 1.1.5）。
巨量性。數(shù)據(jù)量已經(jīng)大到無法在可容忍的時(shí)間內(nèi)用傳統(tǒng)技術(shù)和軟硬件工具進(jìn)行感知、獲取、管理、處理和服務(wù)。數(shù)據(jù)規(guī)模已從 GB到 TB 再到 PB 級，甚至開始以 EB 和 ZB 來計(jì)數(shù)。
早在 2011 年，國際數(shù)據(jù)集團(tuán)的研究報(bào)告就指出：未來 10 年全球大數(shù)據(jù)將增加 50 倍，管理數(shù)據(jù)倉庫的服務(wù)器數(shù)量增加 10 倍。例如，當(dāng)前一些機(jī)構(gòu)之所以能預(yù)測流感的發(fā)生，實(shí)際上是得益于其擁有大量的數(shù)據(jù)，他們保存了多年來的搜索記錄，而且每天會(huì)收到全球超過幾十億條的搜索指令。
多樣性。大數(shù)據(jù)技術(shù)采集的各種類型數(shù)據(jù)，既包括傳統(tǒng)數(shù)據(jù)庫里結(jié)構(gòu)化的數(shù)據(jù)，也包括非結(jié)構(gòu)化的數(shù)據(jù)。在大數(shù)據(jù)中，目前僅有20% 左右屬于結(jié)構(gòu)化數(shù)據(jù)，其余數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡(luò)、電子商務(wù)、物聯(lián)網(wǎng)等領(lǐng)域的非結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)。例如，人們網(wǎng)絡(luò)購物后，通常會(huì)對商品和服務(wù)進(jìn)行評價(jià)。評定的星級通常屬于結(jié)構(gòu)化數(shù)據(jù)，寫的評語、上傳的圖片或視頻則屬于非結(jié)構(gòu)化數(shù)據(jù)，分析處理這類數(shù)據(jù)需要采用專門的數(shù)據(jù)處理技術(shù)和方法。又如，一個(gè)關(guān)系數(shù)據(jù)庫管理系統(tǒng)中可能存儲(chǔ)著支持呼叫中心的呼叫日志。管理系統(tǒng)將呼叫的特征存儲(chǔ)為結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)具有時(shí)間戳、機(jī)器類型、問題類型和操作系統(tǒng)等屬性。管理系統(tǒng)還可能存儲(chǔ)著非結(jié)構(gòu)化數(shù)據(jù)或半結(jié)構(gòu)化數(shù)據(jù)，如電子郵件故障單、客戶聊天記錄、描述問題的通話記錄等。
迅變性。互聯(lián)網(wǎng)和物聯(lián)網(wǎng)（圖 1.1.6）是大數(shù)據(jù)的主要來源，各類傳感器、智能儀表、監(jiān)控系統(tǒng)和智能終端等，能夠?qū)崟r(shí)自動(dòng)采集和生成數(shù)據(jù)，使得數(shù)據(jù)以空前的速度產(chǎn)生。同時(shí)，大數(shù)據(jù)往往以數(shù)據(jù)流的形式動(dòng)態(tài)產(chǎn)生，數(shù)據(jù)的狀態(tài)與價(jià)值隨時(shí)空的變化而發(fā)生演變，具有很強(qiáng)的時(shí)效性（圖 1.1.7）。只有掌控好數(shù)據(jù)流，才能有效利用這些數(shù)據(jù)。
價(jià)值性。雖然數(shù)據(jù)的價(jià)值巨大，但是基于傳統(tǒng)思維與技術(shù)，人們在實(shí)際環(huán)境中往往面臨著信息泛濫而知識(shí)匱乏的窘境，大數(shù)據(jù)的價(jià)值利用密度比較低。有價(jià)值的數(shù)據(jù)往往被隱藏在大量無用的數(shù)據(jù)之中，只有進(jìn)行深度分析和挖掘才能發(fā)現(xiàn)其中的價(jià)值。例如，在一段 24 小時(shí)的不間斷監(jiān)控視頻中，有用數(shù)據(jù)可能僅有幾秒，甚至多數(shù)時(shí)候沒有用。因此，如何在大數(shù)據(jù)中發(fā)現(xiàn)有價(jià)值的數(shù)據(jù)并轉(zhuǎn)化為信息、知識(shí)，已成為大數(shù)據(jù)分析與管理的重要研究領(lǐng)域。
還有一種觀點(diǎn)認(rèn)為真實(shí)性也是大數(shù)據(jù)的一個(gè)特征。真實(shí)性主要指數(shù)據(jù)質(zhì)量的反映。越接近真實(shí)的數(shù)據(jù)越有助于正確決策，數(shù)據(jù)規(guī)模并不能完全決定能否為決策提供充分依據(jù)，但大數(shù)據(jù)的大樣本甚至全樣本有利于接近或反映真實(shí)性。
思考活動(dòng)
技術(shù)促進(jìn)數(shù)據(jù)的感知和應(yīng)用
有些東西無法用眼睛看到（如黑暗中的物體），但人們可以借助手和身體去感知；有些東西無法看到，也無法觸摸到，如音樂、對話等，但可以借助耳朵來感知；還有些東西無法用感官直接感知到，如紫外線、紅外線、細(xì)胞、粒子、電磁波等，但可以利用儀器和工具來感知它們的存在。
思考：技術(shù)的進(jìn)步、工具的使用，對人們感知和應(yīng)用數(shù)據(jù)會(huì)產(chǎn)生哪些影響？對大數(shù)據(jù)領(lǐng)域的發(fā)展和研究帶來什么意義？（例如，傳感技術(shù)的進(jìn)步和相關(guān)工具的應(yīng)用。）
我們被淹沒在數(shù)據(jù)的海洋之中，卻又在忍受著知識(shí)的饑渴。
大數(shù)據(jù)的應(yīng)用價(jià)值
目前，大數(shù)據(jù)的應(yīng)用價(jià)值主要體現(xiàn)在商業(yè)價(jià)值、產(chǎn)業(yè)價(jià)值、科研價(jià)值、社會(huì)價(jià)值等方面。
商業(yè)價(jià)值。精準(zhǔn)預(yù)測商業(yè)價(jià)值是大數(shù)據(jù)技術(shù)發(fā)展帶來的一種新型能力。在商業(yè)領(lǐng)域，客流數(shù)據(jù)、經(jīng)營數(shù)據(jù)、商品數(shù)據(jù)、瀏覽人數(shù)和點(diǎn)擊量等看似簡單的數(shù)據(jù)背后其實(shí)隱藏著很大的商機(jī)。通過把相關(guān)算法運(yùn)用到數(shù)據(jù)處理中，就可以獲得有價(jià)值的產(chǎn)品、服務(wù)以及對發(fā)展趨勢的預(yù)測。例如，企業(yè)通過分析大量客戶的生活方式、行為習(xí)慣、網(wǎng)頁訪問頻率、信息搜索記錄、商品購買記錄等，可以了解客戶的愛好、職業(yè)、性格等信息，進(jìn)而分析他們的需求，并預(yù)測他們近期的消費(fèi)行為，從而有針對性地為他們提供服務(wù)。 此外，大數(shù)據(jù)能夠滿足人們不同應(yīng)用場景的需要，將生活的各個(gè)方面融合，讓人享受到非常便捷和舒適的信息服務(wù)。例如，當(dāng)你來到一座城市，地圖導(dǎo)航軟件會(huì)及時(shí)推送當(dāng)?shù)氐挠瓮婀ヂ浴⒚朗车貓D、天氣信息等。
產(chǎn)業(yè)價(jià)值。大數(shù)據(jù)是現(xiàn)有產(chǎn)業(yè)升級與新產(chǎn)業(yè)誕生的重要推動(dòng)力量。大數(shù)據(jù)時(shí)代的到來，產(chǎn)業(yè)界需求與關(guān)注點(diǎn)發(fā)生了轉(zhuǎn)變。例如，企業(yè)關(guān)注的重點(diǎn)轉(zhuǎn)向數(shù)據(jù)，計(jì)算機(jī)行業(yè)從追求計(jì)算速度轉(zhuǎn)變?yōu)殛P(guān)注大數(shù)據(jù)處理能力，軟件也將從以編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。又如，采用大數(shù)據(jù)處理方法，新材料研制生產(chǎn)的流程會(huì)發(fā)生革命性的變化，可以通過數(shù)據(jù)處理能力較強(qiáng)的計(jì)算機(jī)并行處理，同時(shí)進(jìn)行大批量的仿真比較和篩選，從而提高科研和生產(chǎn)效率。
科研價(jià)值。大數(shù)據(jù)技術(shù)的研發(fā)與應(yīng)用助推了科學(xué)技術(shù)的快速發(fā)展，引發(fā)了科技界對科學(xué)研究方法的重新審視。最早的科學(xué)研究只有實(shí)驗(yàn)科學(xué)，隨后出現(xiàn)了以研究各種定律和定理為特征的理論科學(xué)和以模擬仿真為特征的計(jì)算科學(xué)。大數(shù)據(jù)的出現(xiàn)催生了一種新的科研模式，圖靈獎(jiǎng)得主詹姆士·格雷（James Gray）提出了科學(xué)研究的第四范式——數(shù)據(jù)密集型科學(xué)。他認(rèn)為，科研人員只需從數(shù)據(jù)中直接查找或挖掘所需要的數(shù)據(jù)信息，甚至無須接觸需研究的物理對象。
例如，地質(zhì)學(xué)家不再需要每次都親臨地質(zhì)現(xiàn)場拍照勘察，而是從大數(shù)據(jù)中發(fā)現(xiàn)所需的高清地質(zhì)影像等數(shù)據(jù)。第四范式不僅是科研方式的轉(zhuǎn)變，而且是人們思維方式的轉(zhuǎn)變。
社會(huì)價(jià)值。大數(shù)據(jù)是與自然資源、人力資源一樣重要的戰(zhàn)略資源。
大數(shù)據(jù)時(shí)代，國家層面的競爭力將部分體現(xiàn)為擁有大數(shù)據(jù)的規(guī)模、活性，以及對數(shù)據(jù)解釋和運(yùn)用的能力。同時(shí)，科學(xué)技術(shù)發(fā)展的最終目的都要落到促進(jìn)人類社會(huì)發(fā)展、增進(jìn)人的幸福感等方面。大數(shù)據(jù)為我們帶來的不僅是便利，還有緊密的生活服務(wù)網(wǎng)絡(luò)。例如，在重大節(jié)假日活動(dòng)中，容易出現(xiàn)因人群過度擁擠而引發(fā)的危險(xiǎn)，通過大數(shù)據(jù)分析，可以預(yù)測人流情況，從而能及早采取疏散措施（圖1.1.8）。
大數(shù)據(jù)的來源
大數(shù)據(jù)可以通過不同方式和渠道來獲取。物聯(lián)網(wǎng)、云數(shù)據(jù)庫、移動(dòng)互聯(lián)網(wǎng)、車聯(lián)網(wǎng)、手機(jī)、平板計(jì)算機(jī)、臺(tái)式計(jì)算機(jī)以及遍布各個(gè)角落的各種傳感器，都是數(shù)據(jù)來源或承載的媒介。
歸納起來，大數(shù)據(jù)主要來源于以下三方面。
傳統(tǒng)數(shù)據(jù)庫。大數(shù)據(jù)是政府、企業(yè)、組織、機(jī)構(gòu)等社會(huì)各部門實(shí)施科學(xué)管理和決策分析的基礎(chǔ)，這些部門往往構(gòu)建了基于網(wǎng)絡(luò)的事務(wù)處理系統(tǒng)和辦公自動(dòng)化系統(tǒng)，用傳統(tǒng)的數(shù)據(jù)庫來記錄存儲(chǔ)事務(wù)處理的各種數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)蘊(yùn)含著更多的潛在價(jià)值，對形成科學(xué)決策起著關(guān)鍵作用，是大數(shù)據(jù)的重要來源。
互聯(lián)網(wǎng)數(shù)據(jù)。互聯(lián)網(wǎng)上的任何行為都會(huì)產(chǎn)生數(shù)據(jù)并被記錄下來。從電子郵件、博客、微信等社交媒體產(chǎn)生的數(shù)據(jù)，到文本、圖片、音頻、視頻文件的交流與共享，再到在線交易、網(wǎng)上購物、電子商務(wù)等，每時(shí)每刻都在產(chǎn)生大量數(shù)據(jù)。目前，這些互聯(lián)網(wǎng)數(shù)據(jù)是大數(shù)據(jù)最有價(jià)值的來源。
互聯(lián)網(wǎng)企業(yè)、機(jī)構(gòu)是大數(shù)據(jù)的主要記錄和收集地。早在 2011 年，據(jù) IDG 統(tǒng)計(jì)，全球創(chuàng)建和復(fù)制的數(shù)據(jù)總量已達(dá) 1.8 ZB，其中 75% 來自個(gè)人（圖片、視頻和音樂等），遠(yuǎn)遠(yuǎn)超過人類有史以來所有印刷材料的數(shù)據(jù)總量。
教育領(lǐng)域有很多信息系統(tǒng)，如學(xué)校的選課系統(tǒng)、成績管理系統(tǒng)、在線閱卷系統(tǒng)、高考志愿填報(bào)與錄取系統(tǒng)、校園一卡通系統(tǒng)等，這些系統(tǒng)的運(yùn)行都離不開傳統(tǒng)數(shù)據(jù)庫的支撐。
物聯(lián)網(wǎng)數(shù)據(jù)。物聯(lián)網(wǎng)利用互聯(lián)網(wǎng)、電信網(wǎng)絡(luò)等信息承載體，把所有能行使獨(dú)立功能的普通物體連接起來，形成人員、機(jī)器、物體的互聯(lián)互通，而大數(shù)據(jù)技術(shù)真正把人類帶進(jìn)人、機(jī)、物融合的世界。
通過物聯(lián)網(wǎng)可以對設(shè)備、人員進(jìn)行集中管理、控制，也可以對家庭設(shè)備、汽車等進(jìn)行遙控，以及搜索位置，防止物品被盜等。物聯(lián)網(wǎng)（圖 1.1.9）的發(fā)展同時(shí)又是大數(shù)據(jù)應(yīng)用的又一推動(dòng)力。目前，各類傳感器、智能儀表、視頻監(jiān)控、智能終端等，都在以不同方式實(shí)時(shí)地采集、生成和傳遞大量數(shù)據(jù)。
綜合來看，大數(shù)據(jù)的來源可以粗略地分成兩類：一類來自物理世界；另一類來自人類社會(huì)。前者多半是科學(xué)實(shí)驗(yàn)數(shù)據(jù)或傳感數(shù)據(jù)，后者與人的活動(dòng)有關(guān)，特別是與互聯(lián)網(wǎng)有關(guān)。
數(shù)據(jù)科學(xué)
云計(jì)算、物聯(lián)網(wǎng)、移動(dòng)計(jì)算等新技術(shù)的興起拓展了人們有關(guān)數(shù)據(jù)獲取和數(shù)據(jù)計(jì)算的能力，促使大數(shù)據(jù)時(shí)代的到來，同時(shí)成為數(shù)據(jù)科學(xué)興起的必要條件，并進(jìn)一步推動(dòng)了數(shù)據(jù)科學(xué)的發(fā)展。
數(shù)據(jù)科學(xué)的興起
1974 年，計(jì)算機(jī)科學(xué)家彼得·諾爾（Peter Naur）在自己的一部著作中首次明確提出了數(shù)據(jù)科學(xué)的概念：“數(shù)據(jù)科學(xué)是一門基于數(shù)據(jù)處理的科學(xué)”。此后直到 2001 年貝爾實(shí)驗(yàn)室的克利夫蘭（Cleveland）發(fā)表論文，主張數(shù)據(jù)科學(xué)是統(tǒng)計(jì)學(xué)的一個(gè)重要研究方向，數(shù)據(jù)科學(xué)再度受到統(tǒng)計(jì)學(xué)領(lǐng)域的關(guān)注。2013 年，馬特曼（Mattmann）和達(dá)爾（Dhar）發(fā)表論文，從計(jì)算機(jī)科學(xué)與技術(shù)視角討論了數(shù)據(jù)科學(xué)的內(nèi)涵，使數(shù)據(jù)科學(xué)被納入該領(lǐng)域的研究范疇。與此同時(shí)，數(shù)據(jù)科學(xué)逐漸進(jìn)入實(shí)際應(yīng)用，如模擬與仿真、集成學(xué)習(xí)、視頻與圖像分析、文本分析、語音分析、模型管理、自然語言問答等。
數(shù)據(jù)科學(xué)的內(nèi)涵
2010 年， 德魯·康威（Drew Conway）提 出 了 數(shù)據(jù)科學(xué)的維恩圖（圖 1.1.10），首次明確了數(shù)據(jù)科學(xué)的學(xué)科定位：數(shù)據(jù)科學(xué)處于統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和領(lǐng)域?qū)嵨镏R(shí)的交叉處，是一門交叉型的新興學(xué)科。圖中的“黑客”（Hacker）并不是指“駭客”（Cracker），“黑客精神”是指“大膽創(chuàng)新、喜歡挑戰(zhàn)、勇于創(chuàng)新、追求完美和不斷進(jìn)取”的積極精神。
目前，學(xué)術(shù)界對數(shù)據(jù)科學(xué)的內(nèi)涵基本達(dá)成共識(shí)：數(shù)據(jù)科學(xué)是以數(shù)據(jù)為中心的科學(xué)。朝樂門博士所著的《數(shù)據(jù)科學(xué)》一書中對數(shù)據(jù)科學(xué)有以下闡述。
· 將“現(xiàn)實(shí)世界”映射到“數(shù)據(jù)世界”之后，在“數(shù)據(jù)層次”上研究“現(xiàn)實(shí)世界”的問題，并根據(jù)“數(shù)據(jù)世界”的分析結(jié)果，對“現(xiàn)實(shí)世界”進(jìn)行預(yù)測、洞見、解釋或決策的一門新興科學(xué)。
·以“數(shù)據(jù)”尤其是“大數(shù)據(jù)”為研究對象，并以數(shù)據(jù)統(tǒng)計(jì)、機(jī)器學(xué)習(xí)、數(shù)據(jù)可視化等為理論基礎(chǔ)，主要研究數(shù)據(jù)加工、數(shù)據(jù)管理、數(shù)據(jù)計(jì)算、數(shù)據(jù)分析和數(shù)據(jù)產(chǎn)品開發(fā)等活動(dòng)的一門交叉性新興學(xué)科。
從研究目的看，數(shù)據(jù)科學(xué)是將數(shù)據(jù)轉(zhuǎn)化成信息、知識(shí)或智慧的過程。這一轉(zhuǎn)變過程是一種從不可預(yù)知到可預(yù)知的增值過程，即數(shù)據(jù)通過還原其真實(shí)發(fā)生的背景成為信息，信息賦予其內(nèi)在含義之后成為知識(shí)，而知識(shí)通過理解轉(zhuǎn)化成智慧。
數(shù)據(jù)科學(xué)橫跨計(jì)算機(jī)科學(xué)與技術(shù)、信息學(xué)、數(shù)絡(luò)科學(xué)、系統(tǒng)科學(xué)、心理學(xué)、經(jīng)濟(jì)學(xué)等諸多領(lǐng)域。從計(jì)算機(jī)科學(xué)與技術(shù)角度看，數(shù)據(jù)科學(xué)研究主要包括數(shù)據(jù)加工、數(shù)據(jù)計(jì)算、數(shù)據(jù)管理、數(shù)據(jù)分析和數(shù)據(jù)產(chǎn)品開發(fā)等方面以及數(shù)據(jù)科學(xué)的基礎(chǔ)理論（圖 1.1.11）。
數(shù)據(jù)加工。為了提升數(shù)據(jù)質(zhì)量、降低數(shù)據(jù)計(jì)算的復(fù)雜度、減少計(jì)算量并提升數(shù)據(jù)處理的精準(zhǔn)度，數(shù)據(jù)科學(xué)需要對原始數(shù)據(jù)進(jìn)行一定的加工處理，如數(shù)據(jù)審計(jì)、數(shù)據(jù)清洗、數(shù)據(jù)變換、數(shù)據(jù)集成、數(shù)據(jù)脫敏、數(shù)據(jù)歸約和數(shù)據(jù)標(biāo)注等。值得一提的是，與傳統(tǒng)數(shù)據(jù)處理不同，數(shù)據(jù)科學(xué)中的數(shù)據(jù)加工更強(qiáng)調(diào)數(shù)據(jù)處理中的增值過程，即如何將數(shù)據(jù)科學(xué)研究人員的創(chuàng)造性設(shè)計(jì)、批判性思考和好奇性提問融入數(shù)據(jù)的加工活動(dòng)之中。
數(shù)據(jù)計(jì)算。在數(shù)據(jù)科學(xué)中，計(jì)算模式發(fā)生了根本性變化——從集中式計(jì)算、分布式計(jì)算、網(wǎng)格計(jì)算等傳統(tǒng)計(jì)算過渡到云計(jì)算。比較 有 代 表 性 的 有 GFS、BigTable、MapReduce、Hadoop MapReduce、Spark 等。
數(shù)據(jù)管理。完成數(shù)據(jù)加工和計(jì)算之后，還需要對數(shù)據(jù)進(jìn)行管理與維護(hù)，以便進(jìn)行數(shù)據(jù)分析以及數(shù)據(jù)的再利用和長久存儲(chǔ)。在數(shù)據(jù)科學(xué)中，數(shù)據(jù)管理方法與技術(shù)也發(fā)生了重要變革，出現(xiàn)了一些新興的數(shù)據(jù)管理技術(shù)，如 NoSQL、NewSQL 技術(shù)等。
數(shù)據(jù)分析。數(shù)據(jù)科學(xué)中采用的數(shù)據(jù)分析方法具有較為明顯的專業(yè)性，通常以開源工具為主。目前，Python 語言和 R 語言已成為使用較為普遍的數(shù)據(jù)分析工具。
數(shù)據(jù)產(chǎn)品開發(fā)。這是數(shù)據(jù)科學(xué)與其他科學(xué)的主要區(qū)別。與傳統(tǒng)產(chǎn)品開發(fā)不同，數(shù)據(jù)產(chǎn)品開發(fā)具有以數(shù)據(jù)為中心、多樣性、層次性和增值性等特征。數(shù)據(jù)科學(xué)的研究目的之一就是提升數(shù)據(jù)產(chǎn)品的設(shè)計(jì)與開發(fā)能力。
數(shù)據(jù)科學(xué)作為一門與領(lǐng)域知識(shí)和行業(yè)實(shí)踐高度交融的學(xué)科，從目前的研究來看，主要包括兩個(gè)層面：用數(shù)據(jù)的方法研究科學(xué)和用科學(xué)的方法研究數(shù)據(jù)。
用數(shù)據(jù)的方法研究科學(xué)。主要指以數(shù)據(jù)為中心來開展各學(xué)科的研究，如基因組學(xué)、蛋白組學(xué)、天體物理學(xué)、腦科學(xué)、生物信息學(xué)、地球環(huán)境學(xué)等研究。隨著數(shù)據(jù)科學(xué)相關(guān)技術(shù)的發(fā)展，越來越多的科學(xué)研究將直接針對數(shù)據(jù)展開，人類通過認(rèn)識(shí)數(shù)據(jù)，進(jìn)一步認(rèn)識(shí)自然和社會(huì)。與此同時(shí)，這些學(xué)科的研究又產(chǎn)生了更多的數(shù)據(jù)。例如，用電子顯微鏡重建大腦中的突觸網(wǎng)絡(luò)，1 mm 3 大腦的圖像數(shù)據(jù)就超過1 PB，處理這些數(shù)據(jù)需要數(shù)據(jù)科學(xué)相關(guān)技術(shù)與方法的支持。未來，各個(gè)學(xué)科領(lǐng)域還將形成相應(yīng)的數(shù)據(jù)科學(xué)研究理論與方法。
用科學(xué)的方法研究數(shù)據(jù)。主要指選用科學(xué)的方法來研究數(shù)據(jù)的采集、存儲(chǔ)、加工、管理、分析、可視化等問題。例如，當(dāng)要處理的數(shù)據(jù)量巨大、給計(jì)算帶來挑戰(zhàn)時(shí)，需要隨機(jī)方法或分布式計(jì)算來解決問題。當(dāng)錯(cuò)誤或異常數(shù)據(jù)較多、給數(shù)據(jù)分析帶來困難時(shí)，需要有一定修正功能的數(shù)學(xué)、統(tǒng)計(jì)學(xué)等模型來進(jìn)行處理。
課后作業(yè)
1. 結(jié)合身邊大數(shù)據(jù)的應(yīng)用案例，思考大數(shù)據(jù)及其技術(shù)的價(jià)值體現(xiàn)。
2. 數(shù)據(jù)科學(xué)涵蓋哪些知識(shí)體系？哪些學(xué)科與數(shù)據(jù)科學(xué)相關(guān)？
3. 當(dāng)前，從事哪些專業(yè)領(lǐng)域的工作需要學(xué)習(xí)數(shù)據(jù)科學(xué)的相關(guān)知識(shí)？
4. 數(shù)據(jù)、信息、知識(shí)與智慧的轉(zhuǎn)化關(guān)系，對你的學(xué)習(xí)有哪些啟示？
板書設(shè)計(jì)
第 1 章 數(shù)據(jù)與數(shù)據(jù)科學(xué)　
1.1 從數(shù)據(jù)到數(shù)據(jù)科學(xué)
1.數(shù)據(jù)及其價(jià)值
2.大數(shù)據(jù)及其應(yīng)用價(jià)值
3.數(shù)據(jù)科學(xué)
普通高中教科書
信息技術(shù)　選擇性必修 3 數(shù)據(jù)管理與分析
編著
人民教育出版襯課程教材研究所信息技術(shù)課程教材研究開發(fā)中心
中國地圖出版社教材出版分社
總 主 編 ：祝智庭 樊 磊
副總主編 ：高淑印 郭 芳 李 鋒
本冊主編：黃應(yīng)會(huì) 倪俊杰
編寫人員 ：杜宗飛 楊 俊 趙婕瑜 錢華斌 徐建東

展開更多......

收起↑