【培訓對象】
相關(guān)從業(yè)者

【培訓收益】
拓展對多模態(tài)AI應用領(lǐng)域的視野，聚焦AI賦能創(chuàng)新突破，提升對AI服務(wù)的技術(shù)認知與理解。

 

第1部分：多模態(tài)學習概述

多模態(tài)學習的定義

多模態(tài)學習的意義

多模態(tài)數(shù)據(jù)類型：文本、圖像、視頻、音頻等

多模態(tài)學習的應用領(lǐng)域（自然語言處理、計算機視覺、推薦系統(tǒng)等）

 

第2部分：ViT、Beit與CLIP/BLIP

ViT模型架構(gòu)概述

Patch Embedding與Positional Encoding

Beit與ViT的比較

Beit在自監(jiān)督學習中的應用

Beit在多模態(tài)任務(wù)中的優(yōu)勢

實踐演示：利用ViT和Beit進行圖文轉(zhuǎn)化的效果

CLIP模型介紹：從圖像到文本的跨模態(tài)嵌入

BLIP模型架構(gòu)：結(jié)合CLIP的多模態(tài)模型

CLIP/BLIP在多模態(tài)任務(wù)中的應用：圖像-文本匹配、圖像標注等

實踐演示：使用CLIP進行圖像-文本匹配任務(wù)

 

第3部分：Stable Diffusion及SD XL

Stable Diffusion模型概述：生成模型在圖像生成中的應用

SD的原理推導

SD模型的架構(gòu)

Stable Diffusion XL：擴展的Stable Diffusion模型

微調(diào)擴散模型：DreamBooth

微調(diào)擴散模型：Textual-Inversion

微調(diào)擴散模型：LoRA

微調(diào)擴散模型：Hypernetworks

Stable Diffusion在藝術(shù)創(chuàng)作和設(shè)計中的應用

實踐演示：使用Stable Diffusion生成圖像

 

第4部分：微調(diào)與RLHF方法

微調(diào)的基本概念

SFT：監(jiān)督微調(diào)方法

PEFT的概念

P-tuning v2 / LoRA / Freeze等

微調(diào)方法在多模態(tài)學習中的應用

實踐演示：對多模態(tài)大模型進行微調(diào)

 

第5部分：與人類偏好對齊

強化學習基礎(chǔ)概述

DPO：直接偏好優(yōu)化

PPO：近端策略優(yōu)化

llama-factory簡介

實踐演示：利用llama-factory對大模型進行RLHF

 

第6部分：多模態(tài)大模型

qwen_vl_chat

Yi_vl_chat

LLaVa

open-sora

chatTTS

實踐演示：使用qwen_vl和Yi_vl_chat進行視覺問答任務(wù)

 

 

 

葉梓，上海交通大學計算機專業(yè)博士畢業(yè)，高級工程師。主研方向：數(shù)據(jù)挖掘、機器學習、人工智能。歷任國內(nèi)知名上市IT企業(yè)的AI技術(shù)總監(jiān)、資深技術(shù)專家，市級行業(yè)大數(shù)據(jù)平臺技術(shù)負責人。

 

長期負責城市信息化智能平臺的建設(shè)工作，開展行業(yè)數(shù)據(jù)的智能化應用研發(fā)工作，牽頭多個省級、市級行業(yè)智能化信息系統(tǒng)的建設(shè)，主持設(shè)計并搭建多個省級、市級行業(yè)大數(shù)據(jù)平臺。參與國家級人工智能課題，牽頭上海市級人工智能示范應用課題研究。

 

帶領(lǐng)團隊在相關(guān)行業(yè)領(lǐng)域研發(fā)多款人工智能創(chuàng)新產(chǎn)品，成功落地多項大數(shù)據(jù)、人工智能前沿項目，其中信息化智能平臺項目曾榮獲：“上海市信息技術(shù)優(yōu)秀應用成果獎”。帶領(lǐng)團隊在參加國際NLP算法大賽，獲得Top1%的成績。參與國家級、省級大數(shù)據(jù)技術(shù)標準的制定，曾獲省部級以上的科技創(chuàng)新一等獎。

 

1.      論文發(fā)表/項目經(jīng)歷

在國內(nèi)外期刊、會議中發(fā)表論文27篇，其中被SCI/EI收錄4篇

 

項目經(jīng)歷：

l  上海市城市信息化人工智能項目 項目負責人

ü  研發(fā)智能服務(wù)系統(tǒng)，包括：元宇宙與虛擬數(shù)字人、基于人工智能的內(nèi)容生成（AIGC）、基于NLP技術(shù)的對話系統(tǒng)、基于深度學習的圖像識別系統(tǒng)、基于智能推理的行業(yè)推薦系統(tǒng)。

相關(guān)工作：

作為項目總負責，負責項目管理、產(chǎn)品研發(fā)、系統(tǒng)分析、技術(shù)指導、算法指導等。

 

l  上海市城市智能信息化工程 總工程師

ü  采用大數(shù)據(jù)技術(shù)，建設(shè)市級信息平臺，完成試點單位接入并采集居民相關(guān)信息，實現(xiàn)市級平臺檔案等服務(wù)，并實現(xiàn)所有單位的全面接入。

ü  為解決超量數(shù)據(jù)的存儲與計算的問題，搭建了存儲全市數(shù)據(jù)的云計算平臺，并在其上進行了基于大數(shù)據(jù)的分析和挖掘工作。

相關(guān)工作：

作為總工程師，負責技術(shù)管理、系統(tǒng)分析、云平臺數(shù)據(jù)存儲設(shè)計、數(shù)據(jù)分析與挖掘指導、開發(fā)指導。

 

l  上海市城市信息化領(lǐng)域智能聯(lián)網(wǎng)工程 技術(shù)經(jīng)理

ü  建設(shè)內(nèi)容包括：接入單位的聯(lián)網(wǎng)；智能卡的實現(xiàn)；城市信息化智能平臺的升級；科研平臺的擴展與升級；建立決策支持系統(tǒng)；評估體系的展示設(shè)計；短信平臺的實現(xiàn)；違規(guī)操作的提醒；協(xié)同智能服務(wù)平臺的實現(xiàn)等。

相關(guān)工作：

作為技術(shù)經(jīng)理負責總體架構(gòu)設(shè)計、接口設(shè)計、大數(shù)據(jù)平臺設(shè)計、AI技術(shù)指導等。

 

 

3. 主攻方向

具有扎實的數(shù)據(jù)挖掘、機器學習、深度學習等人工智能理論基礎(chǔ)；了解AIGC等技術(shù)前沿動態(tài)。

精通機器學習、深度學習的理論、模型、算法、調(diào)優(yōu)等；精通算法設(shè)計；

熟悉深度學習在自然語言處理、計算機視覺兩大核心領(lǐng)域的實用技巧；

15年以上的程序開發(fā)經(jīng)驗，熟悉常用程序開發(fā)架構(gòu)，獨立完成多個產(chǎn)品級軟件的設(shè)計與開發(fā)。