Sora ！ ！ ！
近日，網路上掀起了一陣關於Sora的熱潮。 作為OpenAI最新推出的技術，Sora賦予了文字生成影片的魔力，其展示的效果令人印象深刻。
在當前，短影片的吸引力已遠超過傳統的小說和圖像漫畫。 因此，Sora的問世，可能會在影片製作領域引發一場革命。
Sora的魅力在於，它能夠基於文字描述產生長達60秒的影片內容，這些內容包括了精細的場景設定、栩栩如生的角色表情，以及流暢的鏡頭轉換。
這項技術能夠塑造出多元化的角色，實現特定的動作，並且在主題和背景方面做到與描述高度一致。 Sora不僅能精確地理解使用者的指令，還能深刻洞察這些元素在現實世界中應有的呈現方式。
Sora展現了對語言的深刻洞察力，能夠精確捕捉用戶的意圖，創造出既生動又情感充沛的影片內容。 它甚至能在同一影片中呈現多個場景，同時確保角色的連貫性和視覺風格的統一性。
然而，Sora並非完美無瑕。 在模擬複雜場景下的物理效應，以及理解特定因果關係方面，它仍有待提升。 例如，影片中的角色可能會咬一口餅乾，卻未能在餅乾上留下明顯的痕跡。
此外，Sora在處理空間細節，例如分辨方向，或是描述一段時間內的具體事件，如攝影機的移動軌跡時，也可能顯示出一定的限制。
**簡單來說，簡單來說，Sora 是一種能用文字產生最長 60 秒影片的技術，也可以用來產生圖片，因為圖片本質上是一幀的影片。 **
這篇文章，將會從 Sora 的架構，然後到 Sora 的生態，以及最後普通人或開發者如何利用或使用 Sora ，為這個 AI 浪潮做準備 ~
Sora的架構與創新
Sora代表了在AI視訊生成技術中的重大創新，它在架構上與先前的Runway及Stable Diffusion等基於擴散模型的系統有著明顯的差異。 核心之處在於Sora採用了Diffusion Transformer模型，這是一個結合了擴散模型和Transformer模型的先進架構，為視訊生成帶來了前所未有的靈活性和品質提升。
架構比較
- Runway/Stable Diffusion：這些系統基於擴散模型，透過逐步為圖片添加雜訊，再逐步去除雜訊的方式產生清晰圖片。 這個過程雖然能夠產生高品質的影像，但在影片生成上存在限制，尤其是在處理長影片和維持影片一致性方面。
- Sora：Sora利用Diffusion Transformer模型，透過Transformer的編碼器-解碼器架構處理含噪點的輸入影像，並預測出更清晰的影像版本。 這不僅提高了影像處理的效率，而且在視訊生成上實現了顯著的進步。 Sora的創新在於它處理的基本單位不是文字的Token，而是視頻的“Patch”，即隨時間變化的色塊，這允許Sora處理任何大小和長寬比的視頻，無需預先裁剪或調整。
創新應用
Sora的架構使其能夠在訓練時使用更多的資料和運算資源，得到更高品質的輸出。 這種方法不僅避免了視訊預處理可能導致的原始構圖遺失問題，而且因為能夠接收任何視訊作為訓練輸入，Sora的輸出不會受到訓練輸入構圖不良的影響。 此外，Sora展示了模擬複雜物理現象（如液體動力學）的能力，這得益於其在訓練時使用的大量視訊資料中包含的物理規則。
研究基礎與啟示
Sora的開發受到了《Scalable Diffusion Models with Transformers》和《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》兩篇論文的啟發，這些研究來自谷歌，並在Sora項目啟動後不久發表 。 這些研究提供了Sora架構的理論基礎與技術細節，為Sora及未來AI視訊生成技術的發展奠定了堅實的基礎。
透過結合擴散模型和Transformer模型，Sora不僅在技術上實現了突破，而且為影片製作和AI應用開闢了新的可能性，預示著AI在影視製作、內容創作等領域的未來將更加廣闊和深入。
Sora 和 之前的 AI 影片產生工具有什麼升級
Sora在AI視訊生成領域的出現，標誌著技術進步的一個重要里程碑。 與早期的AI視訊生成工具相比，Sora引入了一系列創新和升級，這些改進不僅提高了視訊的生成質量，而且極大地擴展了視訊創作的可能性。 以下是Sora與先前AI影片產生工具的主要升級與優化：
提升生成影片的品質和穩定性
Sora的技術進步主要體現在能夠產生高品質視訊的能力上。 與先前的工具相比，Sora生成的影片可以達到長達60秒的長度，同時支援鏡頭切換、確保畫面中的人物和背景的穩定性，以及實現高畫質輸出。 這些改進意味著使用Sora生成的影片更加逼真，觀看體驗更佳，為用戶提供了更豐富和動態的視覺內容。
創新的技術架構：Diffusion Transformer模型
Sora之所以能夠實現上述優勢，歸功於其基於Diffusion Transformer模型的創新技術架構。 這項架構融合了擴散模型和Transformer模型的優點，使Sora不僅能夠產生文字內容，而且能夠預測產生所謂的「時空補丁」。 這些時空補丁可以理解為影片中的一個小片段，包含了幾幀影片內容。 這種方法使得Sora在訓練過程中不受影片長度和顯示卡效能的限制，生成過程更加靈活多樣，能夠組合不同的時空補丁來創造新的影片內容。
靈活性和多樣性的增強
與基於Diffusion模型的Pika或基於Transformer模型的LLM和ChatGPT等工具相比，Sora的技術架構賦予了它更高的靈活性和多樣性。 Pika在處理影片內容時受到顯示卡效能的限制，而且主要模式集中在基於圖片關鍵影格的影片擴充或風格轉換。 Sora則透過其獨特的模型，能夠無需拘泥於特定的影片解析度或長度限制，創造出更豐富多變的影片內容。
Sora 的算力要求
在討論Sora的使用成本和算力要求之前，我們需要明白AI視訊生成技術特別是像Sora這樣的先進模型，其成本和算力需求是由多種因素決定的。 這些因素包括但不限於模型的複雜度、生成內容的解析度、影片的長度、以及所需的生成品質。 以下是Sora使用成本和算力要求的一個專業化和詳細的分析。
成本估算基礎
在估算Sora產生60秒影片的成本前，我們參考了現有的AI生成技術的定價模式。 例如，DALL-E 3的HD影像生成成本為 $0.08 每次生成，而Runway Gen-2的視訊生成服務收費為$0.05/秒。 這些價格提供了AI生成服務定價的大致範圍。
DALL-E 3
DALL-E 3是OpenAI開發的最新一代AI影像生成模型，它是DALL-E系列的後續版本。 這款AI利用深度學習來產生高解析度的圖像，使用者只需提供簡短的文字描述，DALL-E 3就能根據這些描述創造出對應的圖像。 這種模型展現了令人印象深刻的創造性和理解能力，能夠處理複雜的概念和抽象的思維，產生各種風格和主題的圖像。 DALL-E 3在藝術創作、設計探索、教育和娛樂等多個領域都有廣泛的應用潛力。
Runway Gen-2
Runway Gen-2是RunwayML推出的AI影片產生工具，它使用戶能夠透過AI技術輕鬆建立和編輯影片內容。 Runway Gen-2提供了一系列基於AI的影片編輯功能，如即時視訊合成、風格轉換、內容生成等。 使用者可以利用這些工具將文字描述轉換為影片場景，或對現有影片素材進行風格化處理和內容編輯。 Runway Gen-2旨在簡化影片創作過程，降低製作高品質影片內容的門檻，適用於影視製作、廣告創意、數位藝術等領域。
Sora的算力需求
Sora的技術文件或宣傳資料尚未明確公佈其算力需求。 然而，基於其採用的技術架構—結合了擴散模型和Transformer模型—我們可以合理推測Sora對算力的需求相對較高。 假設Sora在推理時需要約8個NVIDIA A100 GPU，這是目前業界一些最高階的運算卡，專為深度學習和AI任務設計。
成本估算
根據假設，如果Sora的推理大約需要8個A100 GPU，我們可以參考雲端運算服務的GPU租用成本來估算。 假設每個A100 GPU的雲端服務租用成本為每小時$3（這是一個假設值，實際成本可能因供應商和區域而異），那麼Sora運行時的成本大約是每小時$24。
如果Sora生成一分鐘影片的時間為一分鐘，那麼每分鐘影片的直接算力成本約為$0.4。 然而，這還不包括其他潛在成本，如軟體使用費、資料儲存和傳輸費用以及任何附加的處理時間。
綜合估算與市場定價
綜上所述，如果考慮到軟體使用費和其他營運成本，我們可以推測Sora產生60秒影片的成本可能高於直接算力成本。 如果以半小時成本約為$10的估算（這是一個非常粗略的估計），則每秒影片成本約為$0.33，這個價格可能會根據實際使用的資源和服務定價策略有所調整。
未來生成音樂
目前，DALL-E 3和Runway Gen-2主要集中在影像和影片的視覺內容生成。 雖然它們尚未直接應用於音樂（音訊）生成，但未來實現這項功能必然的趨勢，可能會面臨的幾個問題：
- 環境與物件聲音的匹配： 影片中的每個環境和物體都可能發出獨特的聲音。 AI需要理解這些環境和物體的特性，以及它們如何相互作用（例如物體之間的碰撞聲），從而產生相匹配的聲音。
- 聲源疊加： 現實世界中的聲音往往是多種聲源疊加的結果。 AI需要能夠處理這種複雜性，合成多層次的音訊景觀。
- 音樂與場景的融合： 音樂或背景音樂不僅需要品質高，還需要與影片中的場景、情緒和節奏緊密融合，這對AI的理解和創造力提出了更高的要求。
- 人物對白的同步： 對於包含人物對白的視頻，AI需要生成的音頻不僅要內容準確，還要與人物的位置、口型和表情緊密對齊，這需要復雜的模型和算法來 實現。
什麼方式使用?
使用方式概述
與ChatGPT相似，預計用戶無需在本地環境中部署和設置，而是可以透過以下兩種便捷方式存取和使用該服務：
- ChatGPT整合：使用者可以直接透過ChatGPT的介面，比如說 GPTS 使用該功能，實現無縫的視訊生成體驗。 這種整合方式將為使用者提供一個簡潔直觀的操作介面，透過文字指令即可自訂和產生影片內容。
- API呼叫：為了滿足開發者和企業用戶的客製化需求，預計還會提供API介面。 透過API調用，用戶可以將視訊生成功能整合到自己的應用程式、服務或工作流程中，實現更高程度的自動化和個人化。
成本和使用限制
考慮到影片產生的成本較高且處理時間較長的特點，使用這項服務可能會遇到以下限制：
- 次數限制：為了確保服務的可持續性，對使用者的使用次數可能會有一定的限制。 這可能反映為每日或每月的使用次數上限，以平衡使用者需求和資源消耗。
- 高級訂閱服務：為了滿足部分使用者對更高頻率或更高品質影片產生的需求，可能會推出更高一檔的訂閱服務。 這種服務可能會提供更高的使用次數限額、更快的處理速度或更多的客製化選項。
逐步放開計劃
預計在接下來的三個月到半年內，這項服務的可用性和功能將會逐步開放。
市場規模將會很龐大，引發一場新的 AI 浪潮 ~
更長的視頻
隨著影片產生時長的增加，對顯存的需求也隨之升高。 然而，考慮到當前技術發展的快速進步，我們可以樂觀地預計，在一年內，技術將能支援產生長達5至10分鐘的影片。 對於更長的視頻，如30分鐘或60分鐘，預計在未來3年內實現。
版權問題
影片產生及其產生的版權歸屬問題是當今技術和法律討論的熱點。 在基於圖像或文字生成影片的情況下，通常認為版權歸創作該影片的原始內容創作者所有。 然而，這項原則的應用前提是生成的作品本身不得侵犯他人的版權。
版權歸屬分析
- 創作者權益：在AI根據圖像或文字生成視頻的情況下，若原始輸入內容（圖像或文字）為創作者原創，那么生成的視頻版權理應歸屬於該創作者。 這是因為生成過程視為技術手段，而創意和原始內容的版權屬於創作者。
- 非侵權原則：儘管創作者對原始輸入內容擁有版權，生成的影片仍需遵守版權法的基本原則，即不能侵犯任何第三方的版權。 這意味著，即使影片是由AI生成，其中使用的任何版權資料也必須獲得相應的授權或符合公平使用原則。
實踐挑戰
在實踐中，確定AI生成作品的版權歸屬可能會遇到一系列挑戰，尤其是當原始輸入資料或生成演算法涉及多方權利時。 此外，不同國家和地區對於AI生成作品的版權歸屬可能有不同的法律解釋和實踐，這給創作者和使用者帶來了額外的複雜性。
個人推測版權問題未來將會是一個很大的方向。
有人用 AI 詐騙和偽造？
在AI技術，特別是像Sora這樣的高級視訊生成工具的發展下，我們面臨著虛擬內容與現實內容之間界限日益模糊的問題。 這不僅涉及到如何區分哪些影片是真實拍攝的，哪些是透過Sora等工具製作的，還關乎未來真實性的本質和我們如何應對深度偽造帶來的潛在風險。
虛擬與現實的區分
隨著AI生成影片的品質越來越高，區分哪些內容是實際拍攝的，哪些是AI生成的變得更加困難。 不過，技術進步同時也意味著將開發出更精確的檢測工具來辨識AI產生的影片。 目前，影片內容通常會被嵌入浮水印來標識其來源，預計未來也會有更高級的標記和驗證技術來幫助區分虛擬和現實內容。
深度偽造的挑戰
深度偽造技術的發展使得偽造內容更加容易製作，從而增加了被詐騙的風險。 然而，就像歷史上的攝影和影視製作技術一樣，大眾對於辨別這些內容的能力也不斷提高。 雖然目前的AI技術可能在某些細節上還不夠完美，如生成的螞蟻只有四條腿，或人物手部變形等錯誤，但這些不符合邏輯的地方提供了識別AI生成內容的線索。
對策與未來方向
面對深度偽造的問題，偽造與反偽造之間的博弈將是一個長期的過程。 除了開發更精確的檢測工具外，教育大眾如何識別偽造內容，提高他們的媒體素養，也是應對這項挑戰的關鍵。 此外，隨著技術的發展和法律法規的完善，我們可能會看到更多關於內容真實性驗證的標準和協議被建立，旨在保護消費者免受深度偽造內容的潛在危害。
Sora 未來發展方向？
隨著人工智慧技術的快速發展，Sora作為一款前沿的AI視訊生成工具，其未來的發展前景和演進趨勢令人充滿期待。 以下是一些對Sora接下來發展的想像與預測：
成本與效率的革命
隨著演算法優化和硬體進步，Sora生成影片的成本預計將大幅降低，同時生成速度將顯著加快。 這意味著高品質影片的製作將變得更快、更經濟，為中小企業乃至個人創作者提供之前難以想像的影片製作能力。 這種成本和效率的革命將使影片內容的創作更加民主化，激發更多的創新和創意表達。
品質和功能的全面升級
未來的Sora將不僅僅是畫質和影片長度的提升，更將在鏡頭切換、場景一致性以及符合物理規律等方面實現質的飛躍。 AI將能夠更精準地理解和模擬現實世界的物理法則，使生成的影片內容幾乎無法與真實拍攝的內容區分。 此外，AI的這種能力也將進一步擴展到微妙的人類表情和複雜的自然現像模擬上，為觀眾提供前所未有的視覺體驗。
聲音與多模態融合
我們可以預見它將不僅限於視覺內容的生成。 結合先進的聲音合成技術，Sora將能夠產生與視訊完美匹配的聲音效果和背景音樂，甚至實現角色對話的自然流暢。 進一步地，與GPT等文本生成模型的深度融合，將開啟完全的多模態交互能力，實現從文本描述到包含視覺、聽覺乃至更多感官維度的全方位內容生成。 這種多模態融合將大大擴展AI在教育、娛樂、虛擬實境等領域的應用前景。
Sora 的應用場景
Sora的應用場景和實用性涵蓋了廣泛的領域，其商業應用價值同樣不容小覷。 以下是Sora價值和應用的綜合分析：
增強個人表達能力
Sora像一種綜合的表達工具，大大擴展了個人的創造和表達能力。 正如汽車擴展了人的移動能力，ChatGPT擴展了人的寫作和溝通能力，Sora則透過視訊這個媒介，擴展了人們的視覺和情感表達能力。 它允許那些不具備專業寫作、繪畫、攝影或影片編輯技能的普通人，以前所未有的方式表達自己的想法和情感，從而實現更豐富、更直觀的交流。
降低影片製作成本
作為一種低成本的影片生成工具，Sora為影片創作者提供了巨大的價值。 它降低了影片製作的門檻，讓更多的人能夠以較低的成本製作出高品質的影片內容。 這不僅對個人創作者有利，也為小型企業和教育機構提供了製作專業級影片的可能性，從而在行銷、教學和內容創作等多個方面拓寬了應用領域。
創新的人機互動方式
Sora開啟了新的人機互動模式，特別是在動態視訊內容生成方面顯示出巨大潛力。 它可以根據使用者的指令即時產生遊戲劇情、任務和場景，為遊戲和虛擬實境提供無限的內容和體驗。 此外，Sora也能動態地將新聞、文章轉化為視頻，為資訊消費提供更直觀和吸引人的形式，這對於提高資訊接收的效率和效果具有重要意義。
情感連結與記憶保留
Sora在情感連結和記憶保留方面具有獨特價值。
透過產生已故親人的視頻，它為人們提供了一種全新的方式來紀念和保存對親人的記憶。
作為數位伴侶，Sora可以創造出具有個人化特徵的虛擬形象，為使用者提供情感上的支持和陪伴，開啟了與數位世界互動的新緯度。
Sora 的賺錢邏輯
Sora 未來的市場非常大，涉及每個產業，每一個領域
- 情緒寄託與娛樂服務：Sora可以提供客製化的視頻內容，包括緩解焦慮的課程、提供娛樂內容、甚至創建已故親人的記憶視頻，這些都具有高度的個性化需求和情感價值 ，用戶願意為這種獨特體驗付費。
- 微電影製作：Sora能夠以低成本高效率生成微電影等級的內容，為獨立影視製作人、藝術家提供強大的創作工具。 透過版權銷售、參與影展等方式，Sora生成的藝術作品可以商業化。
- 內容創作與二次創作：Sora可以幫助內容創作者、小說家將文字內容轉化為視覺內容，提供新的敘事方式和觀看體驗。 透過賣素材、提供教學內容、說故事影片等形式，Sora可以為教育和娛樂產業帶來新的收入來源。
- 遊戲內容生成與廣告：Sora可以動態產生遊戲劇情與場景，為遊戲開發提供無限的可能性。 同時，Sora產生的廣告影片可以提供給電商和品牌商，實現快速的市場驗證和產品推廣。
- 工具和平台生態：透過提供易於使用的Prompt和小工具，Sora可以建立一個圍繞影片生成的生態系統，吸引開發者和創作者共同參與。 這個生態不僅可以繞過現有的製作限制，還可以為用戶提供更多的創作自由和可能性，從而創造出訂閱服務、平台使用費等收入模式。
- 快速原型驗證與商業應用：Sora能夠幫助企業和創業者快速驗證產品和服務概念，透過產生原型影片減少前期的投入成本。 在廣告、電商、甚至電影分鏡頭製作等領域，Sora的應用可以顯著提高效率和降低成本，為商業用戶創造直接的經濟價值。
普通人怎麼用好？ 利用 Sora 做點副業
- 用起來，學會怎麼用，知道它能做什麼，邊界在哪裡
- 選一個適合自己的方向，事先準備好相關素材或開發項目
- 技術人員可以準備開始籌備產品、工具：收集 Prompt、基於 API 二次開發
Sora 其他的討論
名字起源
Sora的名字很可能來自於動畫《天元突破》的開場曲《空色デイズ》，反映了專案團隊對創造力和突破限制的追求。
實用性與熱度
Sora的熱度不僅是因為融資和股價的概念炒作，它確實是一個具有實用價值的技術，已經可以應用於產生高品質的短影片內容，例如OpenAI在TikTok帳號上的展示。
競爭力與發展
Sora在全球範圍內具有較強的競爭力，OpenAI的技術和模型優勢顯著。 儘管中國在這個領域的發展速度很快，但目前主要由大型企業領跑，中國與歐美的差距主要在算力和AI技術的深度應用。
產業革命
Sora的出現被認為是文字到視訊生成領域的劃時代技術，預示著新一輪產業革命的可能性。 儘管歷史上出現過多次被高度追捧的技術，如web3、區塊鏈等，Sora的實用性和創新性讓人對其劃時代的定義持樂觀態度。
矽谷圈
Sora在矽谷和業界受到正面評價，儘管這可能導致某些方向的投資變得更加謹慎，但也激勵創業者和開發者探索新的應用方向和創新模式。
晶片與算力需求
隨著視訊生成技術的發展，對算力的需求持續增長，預計將促進更多公司參與顯示卡的開發和生產，推動算力資源的多元化和性能的提升。
Sora的討論和分析反映了其在技術創新、商業應用和社會影響方面的深遠潛力，同時也提示了產業對於新興技術應持續觀察和理性評估的重要性。
關於我們
歡迎來到SoraEase，我們是一個致力於簡化Sora AI視訊生成技術應用的開源社群。 SoraEase旨在為廣大Sora愛好者和開發者提供一個快速、高效的使用和開發平台，幫助大家輕鬆掌握Sora技術，激發創新靈感，共同推動視頻生成技術的發展和應用。
在SoraEase，我們提供：
- 最新的Sora應用案例和技術研究分享
- Sora技術的快速開發工具和資源
- Sora開發和使用的問題解答和討論
- 豐富的Sora技術社群活動與線上交流機會
我們相信，透過社群的力量，可以讓Sora技術更加易於存取和使用，讓每個人都能夠創造出令人驚嘆的AI影片內容。
社區資源
- GitHub網址：SoraEase GitHub
- 加入我們的社群：新增Wechat nsddd_top 並回覆
sora進群。 在我們的微信社群中，你可以取得Sora的最新諮詢，技術分享，同時也是Sora愛好者和開發者的交流平台。
我們期待你的加入，一起探索Sora技術的無限可能！