大揭秘：OpenAI公布Sora模型技术原理以及训练细节(da jie mi gong bu mo xing ji shu yuan li yi ji xun lian xi jie)

　　2月yuè16日rì，北běi京jīng大dà学xué人rén工gōng智zhì能néng专zhuān业yè博bó士shì@北běi大dàAI鱼yú博bó士shì 发fā微wēi博bó，从cóng技jì术shù角jiǎo度dù解jiě读dú了leOpenAI最zuì新xīn发fā布bù的deSora：

　　OpenAI最zuì新xīn发fā布bù的deSora视shì频pín生shēng成chéng模mó型xíng技jì术shù报bào告gào揭jiē示shì了le其qí背bèi后hòu的de强qiáng大dà训xùn练liàn思sī路lù和hé详xiáng细xì的de技jì术shù特tè性xìng。Sora模mó型xíng不bù仅jǐn展zhǎn现xiàn了le三sān维wéi空kōng间jiān的de连lián贯guàn性xìng、模mó拟nǐ数shù字zì世shì界jiè的de能néng力lì、长zhǎng期qī连lián续xù性xìng和hé物wù体tǐ持chí久jiǔ性xìng，还hái能néng与yǔ世shì界jiè互hù动dòng，如rú同tóng真zhēn实shí存cún在zài。其qí训xùn练liàn过guò程chéng获huò得dé了le大dà语yǔ言yán模mó型xíng的de灵líng感gǎn，***cǎi用yòng扩kuò散sàn型xíng变biàn换huàn器qì模mó型xíng，通tōng过guò将jiāng视shì频pín转zhuǎn换huàn为wèi时shí空kōng区qū块kuài的de方fāng式shì，实shí现xiàn了le在zài压yā缩suō的de潜qián在zài空kōng间jiān上shàng的de训xùn练liàn和hé视shì频pín生shēng成chéng。这zhè种zhǒng独dú特tè的de训xùn练liàn方fāng法fǎ使shǐ得déSora能néng够gòu创chuàng造zào出chū质zhì量liàng显xiǎn著zhe提tí升shēng的de视shì频pín内nèi容róng，无wú需xū对duì素sù材cái进jìn行xíng裁cái切qiè，直zhí接jiē为wèi不bù同tóng设shè备bèi以yǐ其qí原yuán生shēng纵zòng横héng比bǐ创chuàng造zào内nèi容róng。Sora的de推tuī出chū，无wú疑yí为wèi视shì频pín生shēng成chéng领lǐng域yù带dài来lái了le革gé命mìng性xìng的de进jìn步bù，其qí技jì术shù细xì节jié值zhí得dé每měi一yī位wèi从cóng业yè者zhě细xì致zhì研yán究jiū。

　　Sora 详xiáng细xì的de技jì术shù报bào告gào发fā布bù了le，相xiāng关guān从cóng业yè者zhě可kě能néng都dōu需xū要yào看kàn看kàn。里lǐ面miàn有yǒu OpenAI的de训xùn练liàn思sī路lù以yǐ及jí Sora 详xiáng细xì的de技jì术shù特tè性xìng，下xià面miàn是shì主zhǔ要yào的de，详xiáng细xì的de可kě以yǐ去qù看kàn完wán整zhěng内nèi容róng。

　　简jiǎn单dān来lái说shuō Sora 的de训xùn练liàn量liàng足zú够gòu大dà也yě产chǎn生shēng了le类lèi似shì涌yǒng现xiàn的de能néng力lì。

　　技jì术shù特tè点diǎn：

　　1、三sān维wéi空kōng间jiān的de连lián贯guàn性xìng：Sora可kě以yǐ生shēng成chéng带dài有yǒu动dòng态tài相xiāng机jī运yùn动dòng的de视shì频pín。随suí着zhe相xiāng机jī移yí动dòng和hé旋xuán转zhuǎn，人rén物wù和hé场chǎng景jǐng元yuán素sù在zài三sān维wéi空kōng间jiān中zhōng保bǎo持chí连lián贯guàn的de运yùn动dòng。

　　2、模mó拟nǐ数shù字zì世shì界jiè：Sora还hái能néng模mó拟nǐ人rén工gōng过guò程chéng，如rú视shì频pín游yóu戏xì。Sora能néng够gòu同tóng时shí控kòng制zhìMinecraft中zhōng的de玩wán家jiā，并bìng高gāo保bǎo真zhēn地dì渲xuàn染rǎn游yóu戏xì世shì界jiè及jí其qí动dòng态tài。通tōng过guò提tí及jí“Minecraft”的de提tí示shì，可kě以yǐ零líng样yàng本běn地dì激jī发fāSora的de这zhè些xiē能néng力lì

　　3、长zhǎng期qī连lián续xù性xìng和hé物wù体tǐ持chí久jiǔ性xìng：对duì视shì频pín生shēng成chéng系xì统tǒng来lái说shuō，Sora通tōng常cháng能néng够gòu有yǒu效xiào地dì模mó拟nǐ短duǎn期qī和hé长zhǎng期qī的de依yī赖lài关guān系xì。同tóng样yàng，它tā能néng在zài一yī个gè样yàng本běn中zhōng生shēng成chéng同tóng一yī角jiǎo色sè的de多duō个gè镜jìng头tóu，确què保bǎo其qí在zài整zhěng个gè视shì频pín中zhōng的de外wài观guān一yī致zhì。

　　4、与yǔ世shì界jiè互hù动dòng：Sora有yǒu时shí能néng够gòu模mó拟nǐ对duì世shì界jiè状zhuàng态tài产chǎn生shēng简jiǎn单dān影yǐng响xiǎng的de行xíng为wèi。例lì如rú，画huà家jiā可kě以yǐ在zài画huà布bù上shàng留liú下xià随suí时shí间jiān持chí续xù的de新xīn笔bǐ触chù，或huò者zhě一yī个gè人rén吃chī汉hàn堡bǎo时shí留liú下xià咬yǎo痕hén。

　　【训xùn练liàn过guò程chéng】：

　　1、Sora 的de训xùn练liàn受shòu到dào了le大dà语yǔ言yán模mó型xíng（Large Language Model）的de启qǐ发fā。这zhè些xiē模mó型xíng通tōng过guò在zài互hù联lián网wǎng规guī模mó的de数shù据jù上shàng进jìn行xíng训xùn练liàn，从cóng而ér获huò得dé了le广guǎng泛fàn的de能néng力lì。

　　3、Sora实shí际jì上shàng是shì一yī种zhǒng扩kuò散sàn型xíng变biàn换huàn器qì模mó型xíng（diffusion transformer）。

　　首shǒu先xiān将jiāng视shì频pín压yā缩suō到dào一yī个gè低dī维wéi潜qián在zài空kōng间jiān19中zhōng，然rán后hòu将jiāng这zhè种zhǒng表biǎo现xiàn形xíng式shì分fēn解jiě成chéng时shí空kōng区qū块kuài，从cóng而ér将jiāng视shì频pín转zhuǎn换huàn为wèi区qū块kuài。

　　4、训xùn练liàn了le一yī个gè用yòng于yú降jiàng低dī视shì觉jué数shù据jù维wéi度dù的de网wǎng络luò。这zhè个gè网wǎng络luò以yǐ原yuán始shǐ视shì频pín为wèi输shū入rù，输shū出chū在zài时shí间jiān和hé空kōng间jiān上shàng都dōu被bèi压yā缩suō的de潜qián在zài表biǎo示shì。Sora在zài这zhè个gè压yā缩suō的de潜qián在zài空kōng间jiān上shàng进jìn行xíng训xùn练liàn，并bìng在zài此cǐ空kōng间jiān中zhōng生shēng成chéng视shì频pín。还hái开kāi发fā了le一yī个gè对duì应yīng的de解jiě码mǎ器qì模mó型xíng，它tā能néng将jiāng生shēng成chéng的de潜qián在zài表biǎo示shì映yìng射shè回huí到dào像xiàng素sù空kōng间jiān。

　　5、对duì于yú给gěi定dìng的de压yā缩suō输shū入rù视shì频pín，提tí取qǔ一yī系xì列liè时shí空kōng区qū块kuài，它tā们men在zài变biàn换huàn器qì模mó型xíng中zhōng充chōng当dāng标biāo记jì（token）。这zhè种zhǒng方fāng案àn同tóng样yàng适shì用yòng于yú图tú像xiàng，因yīn为wèi图tú像xiàng本běn质zhì上shàng是shì单dān帧zhèng的de视shì频pín。基jī于yú区qū块kuài的de表biǎo示shì方fāng法fǎ使shǐSora能néng够gòu针zhēn对duì不bù同tóng分fēn辨biàn率lǜ、持chí续xù时shí间jiān和hé纵zòng横héng比bǐ的de视shì频pín和hé图tú像xiàng进jìn行xíng训xùn练liàn。在zài推tuī理lǐ过guò程chéng中zhōng，可kě以yǐ通tōng过guò在zài适shì当dāng大dà小xiǎo的de网wǎng格gé中zhōng排pái列liè随suí机jī初chū始shǐ化huà的de区qū块kuài来lái控kòng制zhì生shēng成chéng视shì频pín的de大dà小xiǎo。

　　6、随suí着zhe Sora 训xùn练liàn计jì算suàn量liàng的de增zēng加jiā，样yàng本běn质zhì量liàng有yǒu了le显xiǎn著zhe提tí升shēng。Sora训xùn练liàn时shí没méi有yǒu对duì素sù材cái进jìn行xíng裁cái切qiè，使shǐ得déSora能néng够gòu直zhí接jiē为wèi不bù同tóng设shè备bèi以yǐ其qí原yuán生shēng纵zòng横héng比bǐ创chuàng造zào内nèi容róng。

　　7、针zhēn对duì视shì频pín的de原yuán生shēng纵zòng横héng比bǐ进jìn行xíng训xùn练liàn，还hái可kě以yǐ提tí高gāo构gòu图tú和hé取qǔ景jǐng的de质zhì量liàng。训xùn练liàn文wén本běn到dào视shì频pín的de生shēng成chéng系xì统tǒng需xū要yào大dà量liàng配pèi有yǒu相xiāng应yīng文wén本běn提tí示shì的de视shì频pín。应yīng用yòng了le在zàiDALL·E 3中zhōng引yǐn入rù的de重zhòng新xīn字zì幕mù技jì术shù到dào视shì频pín上shàng。

　　8、与yǔDALL·E 3相xiāng似shì，也yě利lì用yòng了leGPT技jì术shù，将jiāng用yòng户hù的de简jiǎn短duǎn提tí示shì转zhuǎn换huàn成chéng更gèng详xiáng细xì的de提tí示shì，然rán后hòu发fā送sòng给gěi视shì频pín模mó型xíng。

　　完wán整zhěng报bào告gào请qǐng访fǎng问wènOpenAI官guān网wǎng查chá看kàn。

　　重zhòng点diǎn关guān注zhù：

　　1、Sora展zhǎn现xiàn的de三sān维wéi空kōng间jiān连lián贯guàn性xìng和hé长zhǎng期qī物wù体tǐ持chí久jiǔ性xìng，提tí升shēng了le视shì频pín内nèi容róng的de真zhēn实shí感gǎn。

　　2、通tōng过guò模mó拟nǐ数shù字zì世shì界jiè和hé与yǔ世shì界jiè互hù动dòng，Sora能néng够gòu创chuàng造zào出chū富fù有yǒu创chuàng意yì的de视shì频pín内nèi容róng。

　　3、Sora的de独dú特tè训xùn练liàn方fāng法fǎ及jí其qí对duì不bù同tóng纵zòng横héng比bǐ的de原yuán生shēng支zhī持chí，标biāo志zhì着zhe视shì频pín生shēng成chéng技jì术shù的de一yī个gè新xīn时shí代dài。