資源簡介

中小學教育資源及組卷應用平臺
第3課《用深度學習實現圖像分類》教學設計
課題 用深度學習實現圖像分類 單元 第二單元 學科 信息科技 年級 八年級下
核心素養目標 信息意識：理解圖像數據作為一種重要信息資源的價值，通過深度學習進行圖像分類是提取和利用圖像信息的有效方式。計算思維：引導理解深度學習算法（如卷積神經網絡）背后的邏輯和計算流程，學會用算法思維解決圖像分類問題。數字化學習與創新：鼓勵運用數字化工具（如編程軟件、深度學習框架）進行圖像分類的實踐操作，提高他們的數字化學習能力。信息社會責任：在圖像分類過程中遵循法律法規，尊重他人的隱私和知識產權，思考圖像分類技術可能帶來的社會影響。
教學重點 1、掌握圖像分類與模型訓練的相關知識點。
教學難點 1、安全、規范地使用圖像分類與深度學習服務于生活。
教學過程
教學環節 教師活動 學生活動 設計意圖
導入新課 板書課題。本課中你將學習如何制作圖像數據集如何對圖像分類模型進行訓練如何應用圖像分類模型深度學習是機器學習最重要的組成部分。用深度學習解決問題，同樣要參考機器學習的一般流程，從采集、整理和清洗數據開始，再搭建模型進行訓練與評估，最后結合其他編程工具或者模塊，以模型推理為核心功能，形成一個完整的人工智能項目。本節課，我們將用深度學習的方法實現圖像分類并解決昆蟲識別的問題。觀看教學視頻 學習單元引入內容。學習新知引入，觀看教學視頻。 明確本單元所研究的中心內容和所需掌握的主要知識點。用提問的方式引入課題，增強課堂互動性。將學生的注意吸引到課堂。
講授新課 新知講解一、準備圖像數據集合適的數據集是機器學習任務成功的關鍵，數據集的質量會直接影響模型的性能。針對圖像分類模型訓練，我們需要準備好一個圖像數據集。（出示圖片）許多人關心的問題是“需要多少張圖片？”以及“圖片的尺寸應該為多大？”，答案取決于所期望的模型識別精度。一般來說，數據越豐富、越多樣，訓練出來的模型的表現就會越好。只有數量還不夠，還需要確保數據的多樣性，這意味著需要考慮光線、拍攝角度、背景等變化條件。采集數據前還需要明確讓模型識別和學習的圖像類型，考慮模型最終的應用場景及采集的圖像數據與要進行推理的圖像是否一致。例如，昆蟲識別模型的應用場景是校園花圃，最好也用攝像頭去采集校園花圃里的昆蟲的圖像。1. 圖像分類數據集的規范不同的 AI開發工具或框架對數據集格式有特定的要求。比較常用的用于圖像分類的數據集格式是ImageNet格式。ImageNet大規模視覺識別挑戰賽是著名的計算機視覺競賽，其機制是提供統一的數據集，讓不同算法進行比較。ImageNet 提供的數據集擁有超過1500萬張圖片，約2.2萬個類別，其格式逐步發展為一種通用的圖像分類數據集標準。（出示圖片）ImageNet格式的數據集一般包含三個文件夾和三個文本文件。如圖 2.3.1所示，不同類別圖片按照文件夾分類，通過training_set、val_set、test_set 區分訓練集、驗證集和測試集。文本文件classes.txt說明類別名稱與序號的對應關系，val.txt說明驗證集圖片路徑與類別序號的對應關系，test.txt說明測試集圖片路徑與類別序號的對應關系。（出示圖片）2.圖像分類數據集的制作第1單元使用過的BaseDT庫，不僅能完成CSV格式數據集的拆分還可以用于制作ImageNet格式的圖像分類數據集。首先，將收集的數據進行初步整理，整理規范如圖2.3.2所示，將所有圖片按照類別存放(存放至以各類別名稱命名的文件夾內)，再將所有圖片文件夾放入images文件夾同時新建一個 classes.txt，按次序逐行寫上所有類別的名稱，如圖 2.3.3 所示。（出示圖片）然后，使用 BaseDT對整理完畢的images文件夾進行格式轉換，數據集格式轉換的代碼如下所示。需要在代碼中指定生成數據集的路徑、原始數據集的路徑、原始數據集格式、劃分比例 (如不設置，則默認比例為訓練集 : 測試集 : 驗證集 =7 : 1∶2)。數據集劃分代碼運行結果如圖 2.3.4 所示。（出示圖片）二、圖像分類模型的訓練MMEdu 是一個為青少年設計的計算機視覺算法包，其簡化了神經網絡模型搭建和訓練參數，讓初學者通過簡潔的代碼即可完成各種模型訓練借助EasyTrain，使用者還可以用無代碼的方式調用 MMEdu 訓練模型。MMEdu 內置了大量優秀的算法 ( 如SOTA模型等 )，支持圖像分類和檢測任務。（出示圖片）1.圖像分類 SOTA 模型SOTA(state-of-the-art)是指在某個研究任務中目前表現最好、最先進的模型。不同的 SOTA 模型適合解決不同的問題，要根據具體的任務進行合理選擇。比如，LeNet模型在灰度數字手寫體字符識別任務上表現非常優秀，也適合用于簡單的灰度圖像分類任務。除此之外，MMEdu在圖像分類方面還內置了MobileNet、ResNet系列的模型。(1) MobileNetMobileNet 系列模型的設計初衷是“for mobile vision applications”(為移動設備的視覺應用而開發)，即提出一個輕量化的卷積網絡模型，在顯著減少計算量和參數量的同時，保持較高的準確率以提升計算效率，能用在手機、機頂盒等算力較弱的移動終端(也稱邊緣設備)上。MobileNet最大的優點就是網絡的輕量化。如果昆蟲識別任務要采用移動終端部署，那么MobileNet 是一個很不錯的選擇。（出示圖片）(2) ResNet我們已經知道，隨著網絡層數的增加，獲得的信息會更加豐富，但過多的網絡層數可能導致模型性能下降，甚至難以訓練。而何明、孫劍和湯曉鷗等提出的深度殘差網絡(deep residual network，ResNet)，有效地解決了這個問題。ResNet的提出是計算機視覺領域的一個里程碑事件，用ResNet訓練出來的模型在當年ImageNet的圖像分類和目標檢測任務中都獲得了冠軍。ResNet有很多版本，常見有ResNet18、ResNet34、ResNet50、ResNet101、ResNet152等。迄今為止，ResNet仍是難以替代的主流模型，被廣泛應用于分類、檢測、分割等領域。（出示圖片）2.圖像分類模型的訓練過程MMEdu 的 MMClassification 模塊的主要功能是對圖像進行分類。以下是使用 MMEdu 訓練圖像分類模型的核心代碼，其設計思路旨在保持代碼的簡潔性和高效性。用 EasyTrain 訓練模型時，會自動生成類似的訓練代碼。（出示圖片）以上代碼體現了圖像分類模型訓練的五個主要步驟。①模型實例化：選擇一個適合任務的SOTA 模型作為模型的骨干網絡(backbone )。②配置類別數量：根據實際數據集中的類別數量配置模型，確保模型輸出與數據集相匹配。③加載數據集：明確指定數據集的路徑，讓模型知道從哪里獲取訓練所需的數據。④設置模型保存路徑：指定一個路徑來保存訓練好的模型，便于后續的使用或部署。⑤開始訓練：指定訓練的輪數并選擇是否在訓練過程中進行驗證，以確保模型的泛化能力。（出示圖片）運行結果如圖 2.3.5 所示。（出示圖片）從圖2.3.5中可以看出，每輪訓練結束后出現accuracy_top-1表示模型在驗證集上驗證得到的準確率。MMEdu訓練模型的過程中不僅會保存每一輪的模型權重文件，還會將最佳準確率的模型進行重命名保存，并呈現在訓練結果中。如果對當前模型不夠滿意，MMEdu支持加載之前訓練過的模型繼續訓練，在 train 函數中增加checkpoint參數，并指定模型權重路徑即可。下面的代碼是繼續訓練的核心代碼。（出示圖片）閱讀通常，從頭開始訓練一個深度學習模型需要大量的數據和計算資源，既費時又費力。但如果將一個已經在類似任務上訓練好的模型作為起點，那么就可以直接利用這個預訓練模型已經學到的知識，包括特征提取、模式識別等能力。這就是遷移學習(transferlearning)的魅力所在。在 MMEdu 中選擇之前的模型“繼續學習”，其實就是遷移學習。遷移學習允許我們利用一個任務上的知識加速另一個相關任務的學習過程。如果選擇在貓狗分類模型的基礎上訓練牛羊分類模型，那么訓練速度也會快很多。這就像已經學會了騎自行車，現在想學習騎摩托車，由于兩者在平衡和控制方面有相似之處，那么騎摩托車的學習過程會比從零開始學習要快得多。（出示圖片）3.全連接神經網絡全連接神經網絡是一種由多層感知機構成的基本網絡結構，可以處理更復雜的問題。例如身高推斷模型，如果把“每天鍛煉身體的時間”“飲食健康程度”“父母身高”等因素都加入數據集，那么多項式回歸算法無法完成這個任務，但全連接神經網絡依然能出色完成任務。此外，全連接神經網絡能同時適用于分類任務和回歸任務，這就有點兒像“一招應萬變”的必殺技。機器學習中也有個算法叫作多層感知機，其實就是全連接神經網絡。BaseNN(搭建簡單神經網絡的工具)和BaseML兩個工具都提供了搭建多層神經網絡模型的功能。以輸入4個變量推斷身高的回歸模型訓練為例，用這兩個工具搭建全連接神經網絡的參考代碼分別如表 2.1.1所示。表2.1.1所示兩段代碼都能搭建一個輸入維度為4，輸出維度為1，隱藏層數量為2的全連接神經網絡，如圖 2.1.5所示。（出示圖片）三、圖像分類模型的應用完成了模型的訓練，接下來便要思考模型應用的問題。比如，可以將模型應用在校園農場里，對害蟲進行監控。再如，可以將模型應用在某個生態區域，對昆蟲類型進行分類并記錄。不管是哪一種應用場景，都需要借助攝像頭拍攝圖像，調用模型對圖像進行實時推理。（出示圖片）1.深度學習模型的類型和推理工具在深度學習領域中，幾乎每一種深度學習開發框架都有自己特定類型的模型，如 PyTorch 的模型格式為“.pth”，TensorFlow的模型格式為“h5等。為了讓深度學習模型更容易轉化為應用軟件，不同的企業和機構相繼推出了它們自己的推理工具(也稱推理框架、部署工具)，如微軟、亞馬遜、Facebook和IBM等公司推出了ONNX Runtime，騰訊推出了NCNN，Intel推出了 OpenVino，英偉達推出了 TensorRT 等。目前，ONNX Runtime得到的企業支持較多，是一個應用較為廣泛的推理框架。ONNX Runtime支持的模型格式為 ONNX (open neural network即開放神經網絡交換)，旨在實現不同深度學習框架之間的模型互操作，便于模型的共享和部署。ONNX Runtime支持多種硬件平臺，包括CPU和 GPU。2.深度學習模型的轉換為提高模型推理的速度，很多硬件廠商設計了專用的推理加速芯片如TPU (張量處理器)、NPU (神經網絡處理器)等，而不同的芯片可以針對某些類型的模型進行優化。模型轉換可以使開發者充分利用硬件資源，提升模型性能，實現數據的快速推理。例如，一個在 PyTorch 中訓練的模型(pth格式)可以通過轉換工具轉換為ONNX格式，然后進一步部署到支持 ONNX Runtime 的環境中，實現高效的模型推理。MMEdu 內置 convert 函數，針對用 MMEdu 訓練的模型，可直接完成一鍵式模型轉換。下面的代碼實現了將訓練的 pth 格式模型轉換為 ONNX 格式。（出示圖片）3.從模型推理到人工智能應用開發當一個深度學習模型訓練完成后，最終的任務是要結合其他編程工具編寫一個人工智能應用。一般來說，規模較小的模型往往運行在一些邊緣設備(指性能較弱的移動端和嵌入式設備)上。以昆蟲分類模型為例，一般會將模型和代碼放在邊緣設備上，然后安裝在校園農場里，結合攝像頭進行畫面采集，其應用流程如圖 2.3.6所示。（出示圖片）（1）借助 XEduHub 實現ONNX模型推理XEdu工具集中的 XEduHub 也支持 ONNX 模型的推理，如下是MMEdu 模型轉換后推理的示例代碼。（出示圖片）運行結果如圖 2.3.7 所示。（出示圖片）(2) 用 Gradio 搭建人工智能應用Gradio 是一個開源 Python 庫，用于設計和部署機器學習模型的交互式界面。它提供了簡單易用的接口，讓用戶能夠輕松地創建和展示機器學習模型，并與其交互。下面是一段 Gradio 的示例代碼，主要作用是創建一個用戶界面，用戶可以上傳一張圖片，并直接顯示這張圖片(不對圖片進行任何處理)。（出示圖片）在以上代碼的基礎上，結合模型推理代碼即可搭建一個用戶上傳一張圖片就顯示推理結果的人工智能應用，如圖 2.3.8 所示。（出示圖片）閱讀OpenCV (open source computer vision library)是一個開源的計算機視覺和機器學習軟件庫。借助 OpenCV 可以輕松完成圖像和視頻處理。而人工智能結合物聯網技術，就形成了智聯網應用。借助pinpong庫，我們就能利用人工智能模型的推理結果驅動相應的硬件，比如發現害蟲就保存照片并告知農民，發現偷食的小鳥就發出聲音驅趕，發現雜草則啟動激光設備“清除”等。下面的代碼實現的功能是使用攝像頭拍攝照片，若識別出照片中是害蟲，則點亮警示燈(D13端口接LED)。（出示圖片）結合 〇penCV 和 pinpong 庫，可以創建出既能通過攝像頭“看”到環境，又能通過硬件反饋進行“動作”的AI科創作品。這種結合使得項目不僅僅限于軟件層面的交互，還能與物理世界進行互動，極大地拓寬了創作的可能性。挑戰“兵馬未動，糧草先行。”沒有好的數據集，就訓練不出好的模型MMEdu 自帶的昆蟲數據集的規模并不大，來源也比較單一。請使用各種方式對昆蟲數據集進行補充，如在科學老師的指導下現場拍攝或者從網絡上搜索。然后編寫模型轉換代碼，制作一個ImageNet格式的昆蟲數據集。核心實踐內容包括：(1) 數據集擴充。對 MMEdu 自帶的昆蟲數據集進行擴容，增加類別或者增加現有類別的圖像數量。 (2) 數據集轉換。完善代碼，輸入數據路徑進行格式轉換，并檢查格式是否正確。(3) 進一步思考:如果因為誤操作把數據分類弄錯了，有什么辦法可以快速修正？ 答：若誤操作導致數據分類錯誤，可從三層面解決。數據層面，量小則手動修正，有規律錯誤編寫腳本批量改；模型層面，數據量大或難手動修正就重新訓練，部分錯誤且原模型性能好時用正確數據微調；數據管理層面，建立審核流程避免再誤操作，利用版本控制工具以便回滾重新操作。四、課堂練習完成PPT40頁——42頁課堂作業。五、拓展延伸1、應用場景拓展多模態圖像分類是指結合不同類型的圖像數據，如可見光圖像與紅外圖像進行分類。這需要對不同模態的數據進行融合處理，例如在網絡的早期層或者晚期層進行特征融合，以提高對復雜場景的分類能力。小樣本圖像分類在醫療圖像分類中，某些疾病的圖像數據可能非常少。可以采用遷移學習的方法，利用在大規模圖像數據集（如ImageNet）上預訓練好的模型，然后在小樣本的醫療圖像數據集上進行微調，提高小樣本圖像分類的準確率。2、遷移學習背景：隨著機器學習應用場景的不斷拓展，傳統的監督學習方法在面對新任務時，往往需要大量的標注數據進行重新訓練，這既耗時又費力。遷移學習的出現就是為了充分利用已有的數據和知識，提高模型在新任務上的性能和效率。定義：遷移學習是指將在源領域（Source Domain）和源任務（Source Task）中學習到的知識，應用到目標領域（Target Domain）和目標任務（Target Task）中，以提升目標任務的學習效果。3、數據分類糾正如果因誤操作弄錯數據分類，可從數據、模型和數據管理層面解決。數據層面上，數據量小可手動修正，有規律錯誤能編寫腳本批量修改；模型層面，數據量較大或難手動修正時可重新訓練模型，也可在部分數據分類錯誤且原模型性能較好時用正確數據微調模型；數據管理層面，要建立數據審核流程避免再次誤操作，同時利用數據版本控制工具，發現錯誤時方便回滾到正確版本重新操作。 學習圖像數據集的相關知識。了解數據集使用的規范。學習圖像分類數據集的制作。學習圖像分類的模型訓練。了解模型的訓練過程。完成閱讀。學習圖像分類模型的應用。完成閱讀。 完成課堂挑戰內容。完成課堂練習。學習課外知識拓展。 了解圖像數據集的用法，為本次課堂內容做準備。為本次課程內容打下基礎。圖文結合介紹線性可分與線性不可分，讓知識點更生動形象易于理解。深入講解圖像分類相關知識，增強學生學習能力。深入講解模型訓練內容，加深學生對知識的印象。引導學生結合所需進行問題思考，提高學生學以致用和解決問題的能力。圍繞模型應用知識進行較為詳細的知識點補充，講述對應的應用例子，提高學生的學習能力。拓展學生對信息科技知識的了解。考查學生所學知識，以及所學內容的吸收情況。在課堂練習中強化所學知識內容。拓寬學生知識面。
課堂小結 用深度學習實現圖像分類1、進行新知引入2、進行準備工作和模型訓練3、了解圖像分類模型應用4、完成課堂練習5、進行知識拓展 總結回顧 對本節課內容進行總結概括。
課后作業 1、假設你正在參與一個植物圖像分類項目，在對1000張植物圖像進行分類（分為花卉類、草本植物類、木本植物類）時，由于疏忽，有200張圖像的分類出現了錯誤。請根據所學的關于修正數據分類錯誤的知識，闡述你將如何快速修正這些錯誤，并簡要描述如何避免類似錯誤再次發生。要求字數在200 - 300字之間。2、總結本課所學內容。 布置作業 拓展學生的學習能力
課堂板書 觀看板書 強調教學重點內容。
21世紀教育網 www.21cnjy.com 精品試卷·第 2 頁 （共 2 頁）
HYPERLINK "http://www.21cnjy.com/" 21世紀教育網(www.21cnjy.com)

展開更多......

收起↑