AI

Sora ！！！ 近日，互联网上掀起了一阵关于Sora的热潮。作为OpenAI最新推出的技术，Sora赋予了文字生成视频的魔力，其展示的效果令人印象深刻。 在当前，短视频的吸引力已远超过传统的小说和图像漫画。因此，Sora的问世，可能会在视频制作领域引发一场革命。 Sora的魅力在于，它能够基于文本描述生成长达60秒的视频内容，这些内容包括了精细的场景设置、栩栩如生的角色表情，以及流畅的镜头转换。 这项技术能够塑造出多元化的角色，实现特定的动作，并且在主题和背景方面做到与描述高度一致。Sora不仅准确地理解用户的指令，还能深刻洞察这些元素在现实世界中应有的呈现方式。 Sora展现了对语言的深刻洞察力，能够精确捕捉用户的意图，创造出既生动又情感充沛的视频内容。它甚至能在同一视频中呈现多个场景，同时保证角色的连贯性和视觉风格的统一。 然而，Sora并非完美无瑕。在模拟复杂场景下的物理效应，以及理解特定因果关系方面，它仍有待提升。例如，视频中的角色可能会咬一口饼干，却未能在饼干上留下明显的痕迹。 此外，Sora在处理空间细节，如分辨方向，或是描述一段时间内的具体事件，如摄影机的移动轨迹时，也可能显示出一定的局限性。 简单来说，简单来说，Sora 是一种能用文本生成最长 60 秒视频的技术，也可以用来生成图片，因为图片本质上是一帧的视频。 这篇文章，将会从 Sora 的架构，然后到 Sora 的生态，以及最后普通人或者开发者如何利用或者使用 Sora ，为这个 AI 浪潮做准备 ~ Sora的架构与创新 Sora代表了在AI视频生成技术中的一次重大创新，它在架构上与之前的Runway及Stable Diffusion等基于扩散模型的系统有着明显的区别。核心之处在于Sora采用了Diffusion Transformer模型，这是一个结合了扩散模型和Transformer模型的先进架构，为视频生成带来了前所未有的灵活性和质量提升。 架构比较 Runway/Stable Diffusion：这些系统基于扩散模型，通过逐步向图片添加噪点，再逐步去除噪点的方式生成清晰图片。这一过程虽然能够生成高质量的图像，但在视频生成上存在限制，尤其是在处理长视频和维持视频一致性方面。 Sora：Sora利用Diffusion Transformer模型，通过Transformer的编码器-解码器架构处理含噪点的输入图像，并预测出更清晰的图像版本。这不仅提高了图像处理的效率，而且在视频生成上实现了显著的进步。Sora的创新在于它处理的基本单位不是文本的Token，而是视频的“Patch”，即随时间变化的色块，这允许Sora处理任何大小和长宽比的视频，无需预先裁剪或调整。 创新应用 Sora的架构使其能够在训练时使用更多的数据和计算资源，得到更高质量的输出。这种方法不仅避免了视频预处理可能导致的原始构图丢失问题，而且因为能够接收任何视频作为训练输入，Sora的输出不会受到训练输入构图不良的影响。此外，Sora展示了模拟复杂物理现象（如液体动力学）的能力，这得益于其在训练时使用的大量视频数据中包含的物理规则。 研究基础与启示 Sora的开发受到了《Scalable Diffusion Models with Transformers》和《Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》两篇论文的启发，这些研究来自Google，并在Sora项目启动后不久发表。这些研究提供了Sora架构的理论基础和技术细节，为Sora及未来AI视频生成技术的发展奠定了坚实的基础。 通过结合扩散模型和Transformer模型，Sora不仅在技术上实现了突破，而且为视频制作和AI应用开辟了新的可能性，预示着AI在影视制作、内容创作等领域的未来将更加广阔和深入。 Sora 和之前的 AI 视频生成工具有什么升级 Sora在AI视频生成领域的出现，标志着技术进步的一个重要里程碑。与早期的AI视频生成工具相比，Sora引入了一系列创新和升级，这些改进不仅提高了视频的生成质量，而且极大地扩展了视频创作的可能性。以下是Sora与之前AI视频生成工具的主要升级和优化： 提升生成视频的质量和稳定性 Sora的技术进步主要体现在能够生成高质量视频的能力上。与之前的工具相比，Sora生成的视频可以达到长达60秒的长度，同时支持镜头切换、确保画面中的人物和背景的稳定性，以及实现高画质输出。这些改进意味着使用Sora生成的视频更加逼真，观看体验更佳，为用户提供了更为丰富和动态的视觉内容。 创新的技术架构：Diffusion Transformer模型 Sora之所以能够实现上述优势，归功于其基于Diffusion Transformer模型的创新技术架构。这一架构融合了扩散模型和Transformer模型的优点，使Sora不仅能够生成文本内容，而且能够预测生成所谓的“时空补丁”。这些时空补丁可以理解为视频中的一个小片段，包含了几帧视频内容。这种方法使得Sora在训练过程中不受视频长度和显卡性能的限制，生成过程更加灵活多样，能够组合不同的时空补丁来创造出新的视频内容。 灵活性和多样性的增强 与基于Diffusion模型的Pika或基于Transformer模型的LLM和ChatGPT等工具相比，Sora的技术架构赋予了它更高的灵活性和多样性。Pika在处理视频内容时受到显卡性能的限制，而且主要模式集中在基于图片关键帧的视频扩展或风格转换上。Sora则通过其独特的模型，能够无需拘泥于特定的视频分辨率或长度限制，创造出更加丰富和多变的视频内容。 Sora 的算力要求 在讨论Sora的使用成本和算力要求之前，我们需要明白AI视频生成技术特别是像Sora这样的先进模型，其成本和算力需求是由多种因素决定的。这些因素包括但不限于模型的复杂度、生成内容的分辨率、视频的长度、以及所需的生成质量。以下是对Sora使用成本和算力要求的一个专业化和详细的分析。...

2024年1月6日大语言模型分享会 模型的局限： 深度学习 预训练模型 大语言模型 大语言模型的涌现能力： Link: 大语言模型进化之谜：涌现现象的挑战与争议_AI_张俊林_InfoQ精选文章 大语言模型的特点趋势的转变： 大语言比人更懂人类的习惯。 使用 RLHF 训练 使用人类习惯的方式交互 大语言模型的发展脉络： 开源模型越来越多，比例越来越大。 预训练模型依旧是非常多的，但是微调的比例越来越高 如何学习大语言模型 模型结构的配置 大语言模型的微调 使用技巧 自己训练模型 不一定要只是单一的数据，也可以是数据的混合（包括自己提供的业务文档或者代码） 训练的数据来源： 当处理和准备用于机器学习模型训练的数据时，确保数据的质量、安全性、和去重非常重要。这里有一些关键步骤和方法，可以帮助你实现这一目标： 质量过滤（Quality Filtering）: 确保数据准确无误：移除或修正任何错误的、不完整的或者是不准确的数据。 保证数据的一致性：确保所有的数据遵循同样的格式和标准。 数据去重（Data Deduplication）: 识别和移除重复数据：使用算法或者工具来识别完全相同或高度相似的数据项，并将其合并或删除。 对于文本数据，可以使用哈希算法或者基于内容的去重方法。 隐私去除（Privacy Removal）: 确保数据中不含有任何个人可识别信息（PII），如姓名、地址、电话号码等。 在某些情况下，可以使用数据脱敏技术，如匿名化或伪匿名化，来保护用户隐私。 分词（Tokenization）: 对于文本数据，分词是将连续文本分割成更小单元（如单词、短语或字符）的过程。 分词的方法依赖于特定语言的语法和词汇结构。对于中文，可能需要特定的分词工具，因为中文是一个无空格分隔的语言。 解码器结构 “causal decoder"和"prefix decoder"是两种不同的解码器结构，它们在处理序列数据，尤其是在文本生成任务中扮演着重要角色。下面是这两种解码器的对比： Causal Decoder (因果解码器) 定义和应用: 因果解码器，如在GPT系列模型中所使用的，是一种单向解码器。 它在生成文本时，仅考虑已经生成的或给定的前文（即，它只看到左侧的上下文）。 工作原理: 在处理每个新词时，因果解码器仅使用前面的词作为上下文。 这种模式模拟了人类自然语言的生成方式，即基于已知信息顺序地产生新信息。 用途: 适用于文本生成任务，如故事叙述、自动写作、聊天机器人等。 特点: 保证了生成的文本是连贯的，并且在逻辑上遵循了之前的上下文。 不能回看或考虑未来的词汇或句子结构。 Prefix Decoder (前缀解码器) 定义和应用: 前缀解码器是一种可以同时考虑前文和后文的解码器，类似于BERT中的masked language model（MLM）。 它在处理数据时，可以同时考虑序列中的前缀和后缀信息。 工作原理: 在处理每个词时，前缀解码器使用前面的词和后面的一些占位符或掩码作为上下文。 这种方式使得解码器在生成某个词时，可以考虑到整个序列的结构。 用途: 常用于需要双向上下文理解的任务，如文本填空、句子完善、语言模型训练等。 特点: 能够在生成文本时考虑到更全面的上下文信息。 更适合于理解整个句子或段落的结构和含义。 模型结构的优化 模型结构优化一直以来都是比较fancy的工作，优秀的模型结构设计，可以大大提高模型参数的效率，甚至小模型效果可以超过大模型。本文我们以XLNet、ALBERT、ELECTRA为例进行分析。虽然他们也可以认为是预训练任务优化和模型轻量化方面的工作，但鉴于模型结构创新力度很大，我们还是在模型结构优化这个版块来分析他们。...