資源簡介

中小學教育資源及組卷應用平臺
第8課 人工智能安全
課題 第8課 人工智能安全 單元 第二單元 學科 信息技術 年級 九年級
教材分析 本教材應包含人工智能的基本概念、原理和應用案例，以及人工智能與安全的辯證關系。同時，還應介紹人工智能內生安全的相關內容，如數據安全、隱私保護等。教材采用多種教學方法，如講授、實驗、討論、案例分析等，以幫助學生全面理解和掌握人工智能與安全的知識，將理論知識與實際應用相結合，提高學生的實踐能力。
學習目標 實踐意識：培養學生掌握人工智能基本概念和原理，了解其在各個領域的應用現狀和發展趨勢。教育學生具備運用人工智能技術解決實際問題的能力，提高學生在信息科技領域的創新意識和實踐能力。通過實際操作和項目實踐，使學生能夠熟練運用人工智能工具和技術，提高學生在實際工作中的應用水平。社會責任：培養學生具備良好的職業道德和社會責任感，明確人工智能技術的合法合規應用范圍，遵守相關法律法規和倫理道德規范。教育學生關注人工智能技術發展對社會、經濟、環境等方面的影響，培養學生具備全局觀念和可持續發展意識。通過案例分析和討論，使學生認識到人工智能技術可能帶來的負面影響和潛在風險，引導學生關注人工智能技術的安全問題，提高學生的安全防范意識。
重點 理解人工智能與安全的辯證關系：強調人工智能與安全的相互關系，讓學生明確人工智能在提升安全性的同時也可能帶來新的問題。學習人工智能內生安全的內容：深入探討人工智能系統設計、制造和使用等環節中涉及的法律法規、倫理道德等方面的內容，讓學生了解如何在實際操作中遵循相關規范。提高學生的實踐能力：通過實驗和案例分析等方式，讓學生親自動手實踐，培養他們解決實際問題的能力，提高他們的創新意識和實踐能力。
難點 理解人工智能與安全的辯證關系：人工智能既能賦能安全，又會伴生安全問題，需要學生能夠理解這種復雜的關系，并能夠將其應用到實際問題中。掌握人工智能內生安全的內容：人工智能系統的設計、制造和使用等環節涉及到多個方面，需要學生全面掌握相關知識，包括法律法規、倫理道德等方面的內容。將理論知識與實際應用相結合：通過實驗和案例分析等方式，幫助學生將所學的理論知識應用到實際問題中，培養學生的實踐能力。
教學過程
教學環節 教師活動 學生活動 設計意圖
導入新課 通過視頻播放，讓學生了解人工智能和國家安全的關系以及如何規避人工智能帶來的風險。提出問題我們熟悉的語音識別或圖像識別在應用中存在哪些安全隱患 2、人工智能會不會是隱私的泄密者 為什么 并給出相應的答案。 觀看人工智能和國家安全的視頻學生討論問題，舉手回答問題 幫助學生理解人工智能安全風險。通過提問的方式讓學生從現實生活中去體會人工智能給人類帶來的安全隱患。打開課堂
講授新課 人工智能技術具有安全賦能和安全伴生兩大效應。所謂安全賦能是指人工智能為保障網絡空間安全、提升經濟社會風險防控能力等方面提供了新手段和新途徑。所謂安全伴生是指當人工智能發展到一定階段后，在不斷的應用中發現新的安全問題伴生而來，其安全性將受到更嚴峻的挑戰。一、人工智能助力安全在公共安全領域，人工智能依托其強大的數據分析和自主學習能力，可以充分挖掘數據價值，預測預警經濟社會運行中可能存在的潛在風險，在智能安防監控、惡意代碼檢測、垃圾郵件檢測、用戶實體行為分析等方面發揮助力安全的作用。1.智能安防監控安防監控涉及的人工智能技術有智能視頻監控、體態識別與行為預測和智能安防機器人等技術智能視頻監控能夠將人的各種屬性進行關聯分析與數據挖掘，實現安防監管的實時響應與預警。以往的監控攝像頭把圖像、視頻數據傳輸到服務端后再由服務端進行特定處理，近年來安防行業越來越多的數據和計算從云中心遷移到攝像頭、傳感器等“邊緣”位置，用以節省帶寬、提升服務響應速度與可靠性。基于邊緣計算的人臉識別攝像頭能夠直接在本地設備上完成識別得到相關數據。在深山、礦井、遠海航船等網絡難以覆蓋的地方，搭載邊緣計算的視頻監控系統能夠實時處理數據，及時做出響應，確保安全。2.垃圾郵件檢測人工智能技術發展的初期，使用規則對垃圾郵件進行檢測。在垃圾郵件的檢測中，當郵件中出現事先指定的一些可能屬于垃圾郵件的詞語時，這封郵件很可能就是垃圾郵件，當郵件里出現網址時，也可能是垃圾郵件。但隨著規則越來越多，這樣的檢測系統也變得越來越復雜。機器學習算法可以自動地從數據的某些特征中學習它們之間的關系，并且通過對數據的不斷學習，提升垃圾郵件檢測的能力和性能。二、人工智能內生安全人工智能可以助力安全，但人工智能系統涉及數據、框架、算法、模型、運行等多個復雜環節，這些環節都可能導致人工智能系統內在的安全問題。1.數據安全數據是人工智能的重要基礎。數據集的質量會直接影響人工智能算法的執行效果。使用不同質量的數據集會在訓練之后得到不同的模型參數，產生不同的執行效果，進而影響人工智能算法的安全性。數據是人工智能的重要基礎。數據集的質量會直接影響人工智能算法的執行效果。使用不同質量的數據集會在訓練之后得到不同的模型參數，產生不同的執行效果，進而影響人工智能算法的安全性。數據集的質量取決于數據集的規模、均衡性、準確性等。人為地對數據進行修改在很大程度上能改變人工智能算法的執行效果。即便是已經用高質量數據集訓練完畢的人工智能算法模型，只要對輸入的數據進行一些人眼無法感知的微小擾動，即可讓算法的輸出產生巨大的變化，這些經過微小擾動的輸入數據就是對抗樣本。圖8-1顯示了對抗樣本及其錯誤辨識的結果。圖8-1 對抗樣本及其錯誤辨識結果如果惡意使用對抗樣本，可以欺騙自動駕駛汽車，使其不能正確識別道路停車標志，從而引發事故;可以欺騙語音識別系統，讓系統誤認為是“主人語音”而執行虛假命令;可以入侵城市交通系統甚至武器系統。這種通過付抗樣本對智能系統發起的欺騙被稱為“對抗性攻擊”2.算法安全如果想保證算法的完全正確，需要從理論上對算法進行證明，證明算法在任何情況下都能產生正確的結果。深度神經網絡在很多領域能取得遠超傳統算法的準確率，但缺乏可解釋性。針對不同任務需要多少隱藏層，每個隱藏層抽取了何種特征還未能完全說明。在一些對準確率要求高、可解釋性要求強的場景中，神經網絡造成的失誤會產生巨大影響。人工智能算法可以借助海量數據進行自我學習和進化，可以在無人干預下自主處理問題，這也使得人工智能的行為和決策難以被事先預料和干預，從而增加安全風險。3.模型安全人工智能算法往往需要訓練大量的模型參數，經過訓練之后生成的模型般以實體文件的形式保存在服務器。如果攻擊者攻擊了云端服務器，利用服務器漏洞獲取模型參數，可能造成嚴重后果。隨著人工智能的普及，很多開發者將訓練好的模型共享給更多用戶，如果攻擊者對開源的模型進行攻擊，向其中注入惡意代碼或參數，生成“變異”的神經網絡模型并再次共享，在遇到特定情況或數據時，觸發執行特定的惡意行為，會引起重大的安全問題。三、人工智能安全發展在人工智能涉及的網絡安全、數據安全、隱私保護方面，相關法律法規條款部分已在現有法律體系中體現。我國目前正在多層面推進數據安全和個人信息保護法律法規的制定，加速完善相關保護和監管準則，對人工智能相關應用進一步明確監管要求。我國《新一代人工智能發展規劃》中明確提出“建立人工智能安全監管和評估體系”，包括“建立健全公開透明的人工智能監管體系，實行設計問責和應用監督并重的雙層監管結構，實現對人工智能算法設計、產品開發和成果應用等的全流程監管;促進人工智能行業和企業自律，切實加強管理，加大對數據濫用、侵犯個人隱私、違背道德倫理等行為的懲戒力度”。認識到自主可控對國家安全的重要性，加強核心技術的自主可控，以自主可控為根基，通過理論創新、技術突破形成核心競爭力。 學生認真學習并掌握相關知識 幫助學生通過學習人工智能安全相關知識，了解人工智能技術的機遇與風險并存的情況下如何規避風險，同時我們該如何正確看待和面對人工智能給我們帶來的挑戰
課堂練習 讓學生回答以下問題 隨堂練習1.1.個性化智能推薦已深度應用于新聞信息行業，也廣泛應用于旅游出行、電子商務、金融服務等行業。智能推薦系統在給人們生活帶來便利的同時，在實際應用中也暴露出一些安全風險。請結合生活中的應用體驗，分析智能推薦的風險挑戰，并提出相應的安全監管措施建議。2.搜索并學習我國有關人工智能安全方面的政策文件。 通過查閱相關資料回答以上問題并紀錄老師解答重點。 通過自助查閱、回答問題等方式加深學生對人工智能倫理挑戰的理解，鍛煉學生查閱資料分析總結等能力
課堂小結 在本堂課中，我們主要探討了人工智能（AI）與安全之間的辯證關系。我們了解到，AI既可以為安全領域帶來巨大的幫助，同時也可能帶來新的安全威脅。因此，理解AI如何助力安全以及如何確保AI自身的安全發展至關重要。首先，我們討論了AI如何助力安全。通過深度學習和大數據分析，AI能夠在諸如網絡安全、生物識別、預測犯罪等領域提供強大的支持。然后，我們探討了AI安全發展的重要性。隨著AI技術的快速發展，AI系統的安全問題也日益突出。我們需要采取措施確保AI系統的安全性，包括設計更安全的AI算法，提高AI系統的魯棒性，以及加強AI系統的測試和驗證等。最后，我們討論了AI內生安全的概念。內生安全是指將安全因素融入到AI系統的設計和開發過程中，從而確保AI系統從一開始就具有安全性。這需要我們在設計AI系統時，不僅要考慮其性能和功能，還需要考慮其安全性。這需要跨學科的合作，包括計算機科學、數學、工程和安全等領域的專業知識。總的來說，人工智能與安全之間的關系是復雜的，既帶來了機遇也帶來了挑戰。我們需要充分理解這種關系，以便更好地利用AI技術提升安全性，同時確保AI系統的安全發展。 分組總結歸納 鍛煉學生的總結能力，加強邏輯思維和語言表達能力
板書 人工智能安全知識點一、人工智能與安全的辯證關系二、人工智能助力安全和人工智能安全發展三、人工智能內生安全隨堂練習請結合生活中的應用體驗，分析智能推薦的風險挑戰，并提出相應的安全監管措施建議。搜索并學習我國有關人工智能安全方面的政策文件。 根據知識點學習相應內容，完成相應隨堂練習 明確教學內容及重點和難點
21世紀教育網 www.21cnjy.com 精品試卷·第 2 頁 （共 2 頁）
HYPERLINK "http://www.21cnjy.com/" 21世紀教育網(www.21cnjy.com)(共40張PPT)
第8課 人工智能安全
浙教版九年級上冊
教學目標
實踐意識：
培養學生掌握人工智能基本概念和原理，了解其在各個領域的應用現狀和發展趨勢。
教育學生具備運用人工智能技術解決實際問題的能力，提高學生在信息科技領域的創新意識和實踐能力。
通過實際操作和項目實踐，使學生能夠熟練運用人工智能工具和技術，提高學生在實際工作中的應用水平。
教學目標
社會責任：
培養學生具備良好的職業道德和社會責任感，明確人工智能技術的合法合規應用范圍，遵守相關法律法規和倫理道德規范。
教育學生關注人工智能技術發展對社會、經濟、環境等方面的影響，培養學生具備全局觀念和可持續發展意識。
通過案例分析和討論，使學生認識到人工智能技術可能帶來的負面影響和潛在風險，引導學生關注人工智能技術的安全問題，提高學生的安全防范意識。
新知導入
人工智能安全與國家安全息息相關，我們一起來看看國家安全觀系列公開課--《人工智能和國家安全》吧
新知導入
新知導入
1、我們熟悉的語音識別或圖像識別在應用中存在哪些安全隱患
2、人工智能會不會是隱私的泄密者 為什么
新知導入
我們熟悉的語音識別和圖像識別在應用中存在以下安全隱患：
我們熟悉的語音識別和圖像識別在應用中存在以下安全隱患：
數據泄露風險
不公平對待風險
技術濫用風險
容易被攻擊
新知導入
首先，人工智能技術本身需要大量的數據來進行訓練和學習，這些數據可能包含敏感信息，如個人身份和財務信息等。如果數據保管不當或者被惡意利用，就有可能導致隱私泄露。
其次，人工智能系統的設計和使用過程中也可能存在漏洞和缺陷，黑客可以利用這些漏洞進行攻擊，從而獲取用戶的敏感信息或者控制用戶的設備。
但是，這并不意味著人工智能技術本身是隱私泄露的根源。實際上，人工智能技術是一種輔助人類的工具，它的目的是為了提供便利和服務人類，而不是成為損害人格權利和惡意泄露個人隱私的工具。因此，在使用人工智能技術時，需要加強安全防護措施，嚴格管理數據的采集、存儲和使用等環節，確保技術的公平、公正和合法使用。
新知講解
相關知識
人工智能與安全的辯證關系
人工智能助力安全
人工智能內生安全
新知講解
人工智能技術具有安全賦能和安全伴生兩大效應。所謂安全賦能是指人工智能為保障網絡空間安全、提升經濟社會風險防控能力等方面提供了新手段和新途徑。所謂安全伴生是指當人工智能發展到一定階段后，在不斷的應用中發現新的安全問題伴生而來，其安全性將受到更嚴峻的挑戰。
新知講解
在公共安全領域，人工智能依托其強大的數據分析和自主學習能力，可以充分挖掘數據價值，預測預警經濟社會運行中可能存在的潛在風險，在智能安防監控、惡意代碼檢測、垃圾郵件檢測、用戶實體行為分析等方面發揮助力安全的作用。
一、人工智能助力安全
新知講解
1.智能安防監控
安防監控涉及的人工智能技術有智能視頻監控、體態識別與行為預測和智能安防機器人等技術
一、人工智能助力安全
新知講解
智能視頻監控能夠將人的各種屬性進行關聯分析與數據挖掘，實現安防監管的實時響應與預警。以往的監控攝像頭把圖像、視頻數據傳輸到服務端后再由服務端進行特定處理，近年來安防行業越來越多的數據和計算從云中心遷移到攝像頭、傳感器等“邊緣”位置，用以節省帶寬、提升服務響應速度與可靠性。
一、人工智能助力安全
新知講解
基于邊緣計算的人臉識別攝像頭能夠直接在本地設備上完成識別得到相關數據。在深山、礦井、遠海航船等網絡難以覆蓋的地方，搭載邊緣計算的視頻監控系統能夠實時處理數據，及時做出響應，確保安全。
一、人工智能助力安全
新知講解
2.垃圾郵件檢測
人工智能技術發展的初期，使用規則對垃圾郵件進行檢測。在垃圾郵件的檢測中，當郵件中出現事先指定的一些可能屬于垃圾郵件的詞語時，這封郵件很可能就是垃圾郵件，當郵件里出現網址時，也可能是垃圾郵件。但隨著規則越來越多，這樣的檢測系統也變得越來越復雜。機器學習算法可以自動地從數據的某些特征中學習它們之間的關系，并且通過對數據的不斷學習，提升垃圾郵件檢測的能力和性能。
一、人工智能助力安全
親身體驗
體驗使用貝葉斯分類器算法進行垃圾郵件判定
新知講解
人工智能可以助力安全，但人工智能系統涉及數據、框架、算法、模型、運行等多個復雜環節，這些環節都可能導致人工智能系統內在的安全問題。
二、人工智能內生安全
新知講解
1.數據安全
數據是人工智能的重要基礎。數據集的質量會直接影響人工智能算法的執行效果。使用不同質量的數據集會在訓練之后得到不同的模型參數，產生不同的執行效果，進而影響人工智能算法的安全性。
二、人工智能內生安全
新知講解
1.數據安全
數據是人工智能的重要基礎。數據集的質量會直接影響人工智能算法的執行效果。使用不同質量的數據集會在訓練之后得到不同的模型參數，產生不同的執行效果，進而影響人工智能算法的安全性。
二、人工智能內生安全
新知講解
數據集的質量取決于數據集的規模、均衡性、準確性等。人為地對數據進行修改在很大程度上能改變人工智能算法的執行效果。即便是已經用高質量數據集訓練完畢的人工智能算法模型，只要對輸入的數據進行一些人眼無法感知的微小擾動，即可讓算法的輸出產生巨大的變化，這些經過微小擾動的輸入數據就是對抗樣本。圖8-1顯示了對抗樣本及其錯誤辨識的結果。
二、人工智能內生安全
新知講解
二、人工智能內生安全
圖8-1 對抗樣本及其錯誤辨識結果
新知講解
如果惡意使用對抗樣本，可以欺騙自動駕駛汽車，使其不能正確識別道路停車標志，從而引發事故;可以欺騙語音識別系統，讓系統誤認為是“主人語音”而執行虛假命令;可以入侵城市交通系統甚至武器系統。這種通過付抗樣本對智能系統發起的欺騙被稱為“對抗性攻擊”
二、人工智能內生安全
親身體驗
體驗“對抗樣本”對人工智能模型可靠性的影響。實踐內容如下
1.準備原始圖片數據和添加噪聲后的圖片數據
2.在Keras 上使用 RexNet 分類模型。
3.查看實驗結果并分析。
新知講解
2.算法安全
如果想保證算法的完全正確，需要從理論上對算法進行證明，證明算法在任何情況下都能產生正確的結果。
深度神經網絡在很多領域能取得遠超傳統算法的準確率，但缺乏可解釋性。針對不同任務需要多少隱藏層，每個隱藏層抽取了何種特征還未能完全說明。
二、人工智能內生安全
新知講解
在一些對準確率要求高、可解釋性要求強的場景中，神經網絡造成的失誤會產生巨大影響。人工智能算法可以借助海量數據進行自我學習和進化，可以在無人干預下自主處理問題，這也使得人工智能的行為和決策難以被事先預料和干預，從而增加安全風險。
二、人工智能內生安全
新知講解
3.模型安全
人工智能算法往往需要訓練大量的模型參數，經過訓練之后生成的模型般以實體文件的形式保存在服務器。如果攻擊者攻擊了云端服務器，利用服務器漏洞獲取模型參數，可能造成嚴重后果。
二、人工智能內生安全
新知講解
隨著人工智能的普及，很多開發者將訓練好的模型共享給更多用戶，如果攻擊者對開源的模型進行攻擊，向其中注入惡意代碼或參數，生成“變異”的神經網絡模型并再次共享，在遇到特定情況或數據時，觸發執行特定的惡意行為，會引起重大的安全問題。
二、人工智能內生安全
新知講解
在人工智能涉及的網絡安全、數據安全、隱私保護方面，相關法律法規條款部分已在現有法律體系中體現。我國目前正在多層面推進數據安全和個人信息保護法律法規的制定，加速完善相關保護和監管準則，對人工智能相關應用進一步明確監管要求。
三、人工智能安全發展
新知講解
我國《新一代人工智能發展規劃》中明確提出“建立人工智能安全監管和評估體系”，包括“建立健全公開透明的人工智能監管體系，實行設計問責和應用監督并重的雙層監管結構，實現對人工智能算法設計、產品開發和成果應用等的全流程監管;促進人工智能行業和企業自律，切實加強管理，加大對數據濫用、侵犯個人隱私、違背道德倫理等行為的懲戒力度”。認識到自主可控對國家安全的重要性，加強核心技術的自主可控，以自主可控為根基，通過理論創新、技術突破形成核心競爭力。
三、人工智能安全發展
隨堂練習
1.個性化智能推薦已深度應用于新聞信息行業，也廣泛應用于旅游出行、電子商務、金融服務等行業。智能推薦系統在給人們生活帶來便利的同時，在實際應用中也暴露出一些安全風險。請結合生活中的應用體驗，分析智能推薦的風險挑戰，并提出相應的安全監管措施建議。
2.搜索并學習我國有關人工智能安全方面的政策文件。
隨堂練習
1.數據隱私和安全問題
建議措施：建立嚴格的數據保護政策，確保用戶數據的安全性和隱私性。
2. 信息過載和濫用問題
建議措施：需要設定合理的推薦數量和頻率，避免過度推薦。
3. 算法偏見和透明性問題
建議措施：在算法設計階段，需要充分考慮數據的均衡性和多樣性，以減少算法偏見。
隨堂練習
《新一代人工智能發展規劃》：該文件由科技部、國家發展改革委、教育部、工業和信息化部、國家網信辦、中國科學院、中國工程院、國家自然科學基金委等部門聯合發布。文件明確了人工智能發展的戰略目標、重點任務和保障措施，是未來人工智能發展的指導性文件。
《人工智能安全規范》：該規范是一份由工業和信息化部發布的行業標準，規定了人工智能應用中應遵循的安全要求和檢測要求，以及相應的安全管理和安全評價方法。
《網絡信息安全法》：該法律于2017年6月1日起正式實施，是我國網絡信息安全領域的基本法律。該法規定了網絡運營者、使用者以及相關機構在保護網絡信息安全方面的責任和義務，包括人工智能應用中的數據保護和網絡安全要求。
《中華人民共和國網絡安全法》：該法律于2017年6月1日起正式實施，是我國網絡安全領域的基礎法律。該法規定了網絡安全的基本原則、安全保護要求和相關法律責任，對人工智能應用中的網絡安全保護提出了明確要求。
《新一代人工智能治理原則》：該文件由中國科學院、中國工程院、國家自然科學基金委等部門聯合發布。文件提出了人工智能治理的指導思想和基本原則，旨在促進人工智能健康發展，防范潛在風險和濫用問題。
拓展延伸
在今天的課堂中，我們認識到人工智能的優勢和風險是并存的。為了更深入地理解這個主題，讓我們一起觀看TED演講——《人工智能的失控風險及其應對措施》。
拓展延伸
課堂總結
在本堂課中，我們主要探討了人工智能（AI）與安全之間的辯證關系。我們了解到，AI既可以為安全領域帶來巨大的幫助，同時也可能帶來新的安全威脅。因此，理解AI如何助力安全以及如何確保AI自身的安全發展至關重要。
課堂總結
首先，我們討論了AI如何助力安全。通過深度學習和大數據分析，AI能夠在諸如網絡安全、生物識別、預測犯罪等領域提供強大的支持。
然后，我們探討了AI安全發展的重要性。隨著AI技術的快速發展，AI系統的安全問題也日益突出。我們需要采取措施確保AI系統的安全性，包括設計更安全的AI算法，提高AI系統的魯棒性，以及加強AI系統的測試和驗證等。
課堂總結
最后，我們討論了AI內生安全的概念。內生安全是指將安全因素融入到AI系統的設計和開發過程中，從而確保AI系統從一開始就具有安全性。這需要我們在設計AI系統時，不僅要考慮其性能和功能，還需要考慮其安全性。這需要跨學科的合作，包括計算機科學、數學、工程和安全等領域的專業知識。
總的來說，人工智能與安全之間的關系是復雜的，既帶來了機遇也帶來了挑戰。我們需要充分理解這種關系，以便更好地利用AI技術提升安全性，同時確保AI系統的安全發展。
板書設計
人工智能安全
知識點
一、人工智能與安全的辯證關系
二、人工智能助力安全和人工智能安全發展
三、人工智能內生安全
隨堂練習
請結合生活中的應用體驗，分析智能推薦的風險挑戰，并提出相應的安全監管措施建議。
搜索并學習我國有關人工智能安全方面的政策文件。
謝謝
21世紀教育網（www.21cnjy.com)
中小學教育資源網站
兼職招聘：
https://www.21cnjy.com/recruitment/home/admin

展開更多......

收起↑