資源簡介

第5單元數(shù)據(jù)分析與人工智能
5.l走近數(shù)據(jù)分析
●數(shù)據(jù)分析的方法
數(shù)據(jù)分析主要用于現(xiàn)狀分析、原因分析和預(yù)測(cè)分析。進(jìn)行數(shù)據(jù)分析時(shí)，首先要根據(jù)分析的目標(biāo)提出假設(shè)，然后選擇恰當(dāng)?shù)姆治龇椒ㄟM(jìn)行分析，驗(yàn)證假設(shè)是否正確，繼而得出相應(yīng)的結(jié)論。數(shù)據(jù)分析的方法有很多，如對(duì)比分析和平均分析。
●對(duì)比分析.
對(duì)比分析是指將兩個(gè)或兩個(gè)以上的數(shù)據(jù)進(jìn)行比較，分析它們的差異，從而揭示這些數(shù)據(jù)所代表的事物的發(fā)展變化情況和規(guī)律。對(duì)比有橫向?qū)Ρ群涂v向?qū)Ρ葍煞N情況。橫向?qū)Ρ仁窃陬愃频幕蛲惖氖挛镏g進(jìn)行比較，而縱向?qū)Ρ仁菍⑾嗤挛锏牟煌瑫r(shí)期進(jìn)行比較。例如，我們可以橫向比較27路和49路公交線路的客流量，以分析哪一條線路更加繁忙;也可以縱向比較同一條公交線路一天內(nèi)不同時(shí)段的客流量，分析高峰期出現(xiàn)的時(shí)間。
●平均分析
平均分析是指運(yùn)用計(jì)算平均值的方法反映總體在一定時(shí)間、地點(diǎn)條件下某一數(shù)量特征的一般水平。平均分析和對(duì)比分析常結(jié)合使用，例如比較不同線路的平均客流量。
●數(shù)據(jù)可視化表達(dá)
以圖形、圖像和動(dòng)畫等方式更加直觀生動(dòng)地呈現(xiàn)數(shù)據(jù)及數(shù)據(jù)分析結(jié)果，揭示數(shù)據(jù)之間的關(guān)系、趨勢(shì)和規(guī)律等的表達(dá)方式稱為數(shù)據(jù)可視化表達(dá)。數(shù)據(jù)可視化的應(yīng)用范圍廣泛，如圖5.1.1所示的第五屆世界互聯(lián)網(wǎng)大會(huì)關(guān)鍵詞云和圖5.1.2所示的手機(jī)記錄的健身數(shù)據(jù)。
圖表是最常用的數(shù)據(jù)可視化表達(dá)方式之一。基本圖表類型，如柱狀圖、餅圖和折線圖等，利用一般的表格加工軟件即可繪制。如需創(chuàng)建表現(xiàn)形式更為豐富或者具有互動(dòng)功能的圖表，則必須借助專業(yè)性工具。
●數(shù)據(jù)分析報(bào)告
數(shù)據(jù)分析報(bào)告是項(xiàng)目研究結(jié)果的展示，也是數(shù)據(jù)分析結(jié)論的有效承載形式。通過報(bào)告不僅把數(shù)據(jù)分析的起因、過程、結(jié)果及建議完整地展現(xiàn)出來，還可以為決策者提供科學(xué)、嚴(yán)謹(jǐn)?shù)臎Q策依據(jù)。例如，中國互聯(lián)網(wǎng)絡(luò)信息中心每半年發(fā)布一次的《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告》即是一份典型的反映我國互聯(lián)網(wǎng)發(fā)展的數(shù)據(jù)分析報(bào)告。
在數(shù)據(jù)分析報(bào)告中，首先要明確數(shù)據(jù)分析的目的和背景，闡述目前存在的問題及通過分析希望解決的問題；其次需要描述數(shù)據(jù)來源和 數(shù)據(jù)分析的思路、方法和模型；最后要重點(diǎn)呈現(xiàn)數(shù)據(jù)分析的過程、結(jié)論和建議。
●大數(shù)據(jù)
大數(shù)據(jù)是以容量大、類型多、存取速度快、應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，它正快速發(fā)展為對(duì)數(shù)量巨大、來源分散、格式多樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng)造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。
大數(shù)據(jù)的“大”是一個(gè)相對(duì)概念，沒有具體標(biāo)準(zhǔn)，如果一定要定一個(gè)標(biāo)準(zhǔn)， 那么10TB~ 100TB通常稱為大數(shù)據(jù)的門檻。實(shí)際應(yīng)用中，很多企業(yè)級(jí)用戶把多個(gè)數(shù)據(jù)集放在一起，已經(jīng)形成了PB級(jí)的數(shù)據(jù)量。而且隨著數(shù)據(jù)來源的多樣化，數(shù)據(jù)的類型也更加復(fù)雜，如網(wǎng)絡(luò)日志、音頻、視頻、圖片和地理位置信息等。大數(shù)據(jù)的意義在于，我們有可能從如此龐雜的數(shù)據(jù)中挖掘出有價(jià)值的數(shù)據(jù)，并運(yùn)用于管理、農(nóng)業(yè)、金融、醫(yī)療和教育等各個(gè)社會(huì)領(lǐng)域，為社會(huì)發(fā)展服務(wù)。
●大數(shù)據(jù)分析的應(yīng)用
面對(duì)海量的數(shù)據(jù)，為了搜索、處理、分析、歸納和總結(jié)其深層次的規(guī)律，大數(shù)據(jù)分析應(yīng)運(yùn)而生。大數(shù)據(jù)分析是指對(duì)規(guī)模巨大的數(shù)據(jù)進(jìn)行分析。它的應(yīng)用日益豐富，例如實(shí)時(shí)公交系統(tǒng)根據(jù)用戶當(dāng)前位置，迅速定位最近的公交站點(diǎn)，查找系統(tǒng)中公交車輛的位置數(shù)據(jù)，選出經(jīng) 過該站點(diǎn)所有線路車輛的即將到站信息，使用戶可以直觀地在手機(jī)上查看車輛實(shí)時(shí)位置。用戶和車輛的位置信息通常通過衛(wèi)星定位系統(tǒng)、Wi-Fi熱點(diǎn)和基站的位置確定。
大數(shù)據(jù)分析帶來價(jià)值的同時(shí)，也在隱私保護(hù)、安全問題等方面帶來危機(jī)。因此，合理、健康地使用大數(shù)據(jù)，遵循“數(shù)據(jù)道德”是我們的必備品質(zhì)。
5.2 探秘人工智能
●啟發(fā)式搜索
根據(jù)問題的實(shí)際，不斷尋找可利用的知識(shí)，構(gòu)造一條推理路線解決問題，這個(gè)過程就是搜索。按預(yù)定的控制策略進(jìn)行搜索，而不考慮問題本身特性的搜索，稱為盲目搜索，這種搜索一般適用于求解比較簡單的問題。另一種搜索方式稱為啟發(fā)式搜索，它在搜索過程中加入估價(jià)函數(shù)等啟發(fā)信息，不斷自動(dòng)調(diào)整搜索方向，加速求解進(jìn)程。
●人工智能
1950年的“圖靈測(cè)試”揭開了人工智能的序幕。一般而言，人工智能是利用數(shù)字計(jì)算機(jī)或者數(shù)字計(jì)算機(jī)控制的機(jī)器模擬、延伸和擴(kuò)展人的智能，感知環(huán)境，獲取知識(shí)并使用知識(shí)獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。
有人把人工智能分成弱人工智能和強(qiáng)人工智能。弱人工智能一般指實(shí)現(xiàn)特定功能的專用智能設(shè)備，不能真正實(shí)現(xiàn)推理和解決問題。強(qiáng)人工智能是指真正能思考、有知覺、有自我意識(shí)的人類級(jí)別的智能機(jī)器。
●機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)是當(dāng)前人工智能的核心技術(shù)之一，目的是使計(jì)算機(jī)能模擬或?qū)崿F(xiàn)人類的學(xué)習(xí)行為，獲取新的知識(shí)或技能，重新組織已有的知識(shí)結(jié)構(gòu)，從而不斷完善自身的性能。
●神經(jīng)網(wǎng)絡(luò)
神經(jīng)網(wǎng)絡(luò)是目前人工智能領(lǐng)域的研究熱點(diǎn)之一，是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行并行信息處理的算法模型。人工神經(jīng)網(wǎng)絡(luò)無須事先確定反映輸人、輸出之間映射關(guān)系的數(shù)學(xué)方程，它通過自身的訓(xùn)練，學(xué)習(xí)某種規(guī)則，最終在給定輸人時(shí)得到最接近期望輸出的結(jié)果。BP( Back Propagation )神經(jīng)網(wǎng)絡(luò)是目前應(yīng)用最廣泛的算法，它是一種按照誤差逆向傳播算法訓(xùn)練的多層前饋神經(jīng)網(wǎng)絡(luò)，輸入層、隱藏層、輸出層其結(jié)構(gòu)大致如圖5.2.7所示。
算法由信息的正向傳遞與誤差的反向傳播兩部分組成，它們由可修正的權(quán)值互連。在正向傳播過程中，輸人信息從輸人層經(jīng)隱藏層逐層計(jì)算傳向輸出層，當(dāng)前層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果輸出層沒有得到期望的輸出，則計(jì)算輸出層的誤差變化值，然后轉(zhuǎn)向反向傳播，通過網(wǎng)絡(luò)將誤差信號(hào)沿原來的連接通路反傳回來，修改各層神經(jīng)元的權(quán)值直至達(dá)到期望目標(biāo)。
讓我們搜索“好玩的神經(jīng)網(wǎng)絡(luò)”，通過簡單實(shí)例進(jìn)一步了解神經(jīng)網(wǎng)絡(luò)吧。
結(jié)合信息感知、信息表示與形成、智能推理、智能決策、智能執(zhí)行與信息輸出的一般過程，人工智能領(lǐng)域的關(guān)鍵技術(shù)目前主要包括機(jī)器學(xué)習(xí)、知識(shí)圖譜、自然語言處理、計(jì)算機(jī)視覺、人機(jī)交互、生物特征識(shí)別、虛擬現(xiàn)實(shí)與增強(qiáng)現(xiàn)實(shí)等。
●神經(jīng)元芯片
目前通用型處理器的存儲(chǔ)和運(yùn)算處理分離，因此需要大量讀寫運(yùn)行操作的深度神經(jīng)網(wǎng)絡(luò)，在此過程中不可避免地會(huì)受到傳輸數(shù)據(jù)帶寬的制約，從而效率低下。2010年，訓(xùn)練一個(gè)識(shí)別貓臉的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)使用1..6萬個(gè)處理器運(yùn)行了7天，而“阿爾法圍棋”則使用了更多的處理器。未來人工智能若想實(shí)現(xiàn)像人腦一樣的千億個(gè)神經(jīng)元網(wǎng)絡(luò)，則需要海量機(jī)器來完成。
2016年中國科學(xué)院計(jì)算技術(shù)研究所發(fā)布了寒武紀(jì)神經(jīng)元芯片，用硬件直接“繪制”大腦的結(jié)構(gòu)。它采用專門的硬件神經(jīng)元，并將幾百萬個(gè)神經(jīng)元連接在一起，使每個(gè)神經(jīng)元都能通過位數(shù)眾多的路徑向其他的神經(jīng)元發(fā)送信息。實(shí)驗(yàn)表明，該芯片的速度是普通中央處理器(CPU)的1000倍。
●智能傳感器
智能傳感器是具有信息處理功能的傳感器。智能傳感器帶有微處理機(jī)，具備采集、處理、交換信息等功能，是傳感器集成化與微處理機(jī)相結(jié)合的產(chǎn)物。智能傳感器屬于人工智能的神經(jīng)末梢，用于全面感知外界環(huán)境。各類傳感器的大規(guī)模部署和應(yīng)用為實(shí)現(xiàn)人工智能創(chuàng)造了不可或缺的條件，如智能隱形眼鏡、葡萄糖手表等。未來，高敏度、高精度、高可靠性、微型化、集成化將成為智能傳感器發(fā)展的重要趨勢(shì)。

展開更多......

收起↑