資源簡介

課題名稱 第3課 文本與圖像的多模態(tài)模型
課時目標 知道什么是多模態(tài)問題，能夠能夠識別不同類型的多模態(tài)數(shù)據(jù)并闡述其在實際應用中的重要性。 掌握根據(jù)文本提示生成圖像的方法，能夠利用AI技術(shù)根據(jù)給定的文本提示生成滿意的圖像。 了解優(yōu)化提示語來提高生成內(nèi)容的質(zhì)量的方法，確保生成的內(nèi)容更貼合預期目標。
教學準備 聯(lián)網(wǎng)的計算機
導學過程 意圖交流
一、知識探究 1.項目子問題或任務引入 ——我們生活在一個由多種信息構(gòu)成的世界中，如何讓模型生成不同類型的數(shù)據(jù)？ 2.探究內(nèi)容與要求 （1）方法引領(lǐng)：遵循“基礎知識→案例分析→綜合應用→......”認知規(guī)律 （2）主要內(nèi)容 什么是多模態(tài)問題？--概念 如何根據(jù)文本提示生成圖像？--多模態(tài)模型的原理 如何優(yōu)化提示語創(chuàng)作生成符合需求的內(nèi)容？--優(yōu)化提示詞的方法 3.知識習得 （1）自主閱讀：閱讀書本P74-82 （2）知識梳理： 當研究的問題需要同時處理兩種或多種模態(tài)的信息時，我們將其稱為多模態(tài)問題。 從文本和圖像中提取特征，然后將這些特征映射到一個共同的特征空間中，建立文本和圖像之間的語義聯(lián)系，從而實現(xiàn)文本和圖像的多模態(tài)數(shù)據(jù)的交互和生成。 盡量避免提出涉及主觀判斷的問題，因為模型不具備個人情感和價值立場，無法給出類似“你認為哪種方案更好”的主觀評價，同時務必確保問題及潛在回答不觸碰道德與法律底線。 4.核心素養(yǎng)培育 （1）學會解釋： 什么是多模態(tài)問題？有哪些工具可以解決多模態(tài)問題？ 如何根據(jù)文本生成圖像？ 學會分析： 為什么生成模型每次生成的圖像不一樣？ 文本和圖像是如何實現(xiàn)對應關(guān)系的？ 學會求證：高質(zhì)量提示語能夠提升模型生成效果 學會結(jié)合具體場景和問題選擇合適的工具及解決方案： 當前任務需要生成哪些類型的數(shù)據(jù)？ 可以選擇哪些合適的工具？ 如何讓模型/工具生成符合要求的內(nèi)容？ 在使用多模態(tài)工具時，有哪些需要注意和避免的問題？ 二、習題測試 1. 人工智能多模態(tài)通常涉及多種數(shù)據(jù)類型或感知模式的融合。當前，跨模態(tài)生成 工具還不能生成以下哪種形式的內(nèi)容？ A. 文本 B. 圖像 C. 視頻 D. 觸感 2. 在和大語言模型進行交互時，我們需要注意指令清晰且明確。請在以下選項中 選出清晰且明確的指令： A."用一種不存在的語言翻譯這首詩。" B. "基于已經(jīng)取消的比賽結(jié)果預測今年世界杯冠軍。" C. "生成一些內(nèi)容。" D."請根據(jù) 2023 年奧斯卡最佳影片提名名單，為每一部電影提供一段簡短的劇情 概述，并附上導演的名字。" 3. 關(guān)于圖像生成，優(yōu)質(zhì)的提示詞應該包含以下哪些內(nèi)容？（多選題） A. 主體對象 B. 主體對象的細節(jié)描述 C. 藝術(shù)風格 D.畫面空間布局 三、小結(jié)回顧 請同學按照下列提示進行總結(jié)回顧： 1.學到了哪些知識與技能？ 2.提升了哪些方面的能力？ 3.生成了怎樣的觀點？ 四、布置作業(yè) 你目前正在使用一個大語言模型助手和一個文生圖工具來進行文案和圖像的生成。你的目標是分別生成文本文案和圖像圖畫兩種模態(tài)的生成類作品來宣傳確定的主題。請簡述，使用工具編寫提示語的過程需要注意哪些問題，生成兩類作品的過程中，你會建議如何優(yōu)化提示語來得到期望的作品。

展開更多......

收起↑