劃重點(diǎn):

?? Consistent self-attention 實(shí)現(xiàn)角色連貫圖像生成

?? Motion predictor 實(shí)現(xiàn)長(zhǎng)視頻生成

??支持漫畫(huà)生成、圖像轉(zhuǎn)視頻、長(zhǎng)短視頻等多種內(nèi)容生成功能

站長(zhǎng)之家（ChinaZ.com）5月6日 消息:南開(kāi)大學(xué) HVision 團(tuán)隊(duì)開(kāi)發(fā)了 StoryDiffusion，一款能夠創(chuàng)造神奇故事的工具。StoryDiffusion可以保持角色一致，生成多圖漫畫(huà)和長(zhǎng)視頻。

image.png? 由 站長(zhǎng)之家 提供

該工具通過(guò)實(shí)現(xiàn) Consistent self-attention 和 Motion predictor，能夠生成連貫的圖像和視頻。用戶可以提供文本提示來(lái)生成角色連貫的圖像序列，同時(shí)也能實(shí)現(xiàn)長(zhǎng)視頻生成，預(yù)測(cè)不同條件圖像之間的運(yùn)動(dòng)，實(shí)現(xiàn)更大幅度的運(yùn)動(dòng)預(yù)測(cè)。

StoryDiffusion 的應(yīng)用范圍廣泛，可用于漫畫(huà)生成、圖像轉(zhuǎn)視頻等多種場(chǎng)景。通過(guò) Consistent self-attention 機(jī)制生成的圖像，可以順利過(guò)渡為視頻，實(shí)現(xiàn)兩階段長(zhǎng)視頻生成方法。此外，結(jié)合兩個(gè)部分，還能生成常長(zhǎng)且高質(zhì)量的 AIGC 視頻。

image.png? 由 站長(zhǎng)之家 提供

用戶可以通過(guò)提供一系列用戶輸入的條件圖像，使用 Image-to-Video 模型生成視頻。此外，用戶可以通過(guò) Jupyter notebook 或本地 adio demo 來(lái)生成漫畫(huà)。目前，該項(xiàng)目發(fā)布了生成漫畫(huà)部分的源碼。

產(chǎn)品入口：https://top./tool/storydiffusion