AI

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List I. LangGraph 简介 A. 定义 LangGraph：目标、愿景与核心价值主张 LangGraph 是由 LangChain Inc. 开发的一个底层编排框架，旨在利用大型语言模型（LLMs）构建有状态、多参与者的应用程序，特别是智能体（Agent）和多智能体工作流 1。其核心目标是为复杂的 AI 智能体任务提供可靠性、可控性和可扩展性 2。众多知名公司，如 Klarna、Elastic、Uber、Replit、LinkedIn 和 GitLab，已在生产环境中使用 LangGraph，证明了其可行性和价值 2。 LangGraph 的一个关键特性是它专注于支持循环图结构。这与许多传统 LLM 链（通常构建为有向无环图 - DAGs）不同 8。这种循环能力对于实现智能体行为至关重要，这些行为通常涉及循环、重试和基于动态决策的路径选择。LangGraph 采用 MIT 开源许可证发布，允许社区自由使用和贡献 3。 LangGraph 的出现，可以看作是 LLM 开发社区（特别是 LangChain Inc.）认识到简单线性链（例如主要由 LangChain 表达式语言 - LCEL 构建的链）不足以满足现代 AI 智能体日益增长的复杂性、动态性和状态依赖性需求的一种体现。早期的 LLM 应用主要集中在单次生成或简单的链式调用。随着人们期望构建能够执行多步骤任务、使用工具并进行交互的自主智能体，对循环（如重试、规划周期）、状态持久化（记忆、上下文）和条件逻辑的需求变得至关重要 6。主要设计用于 DAG 的 LCEL 在处理这些固有的循环和状态模式时显得力不从心 22。LangGraph 通过其明确的图/状态/节点/边模型 12 以及持久化和条件边等特性 12，直接解决了在实践中遇到的这些限制，其核心特性正是为了克服早期范式在构建复杂智能体时遇到的瓶颈而量身定制的。 B. 在 LangChain 生态系统中的定位 LangGraph 是 LangChain 生态系统的一个扩展或模块 2，通常与 LangChain 的组件一起使用，但也可以独立运行 2。它与 LangChain（提供组件/接口、用于简单链/检索流程的框架）和 LangSmith（用于可观察性、调试和评估的平台）的角色不同 2。LangGraph 专注于复杂、有状态流程的编排。 ...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 基本信息： 项目名称： GitHub 地址： 主要技术栈： 补充相关文章 开源的阶段性成长指南 一份完整的开源贡献指南（提供给第一次踏入开源伙伴秘籍） 我的实践总结：开源社区的规范设计思路 在开源社区中学会如何提问

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 基本信息： 项目名称： GitHub 地址： 主要技术栈： 补充相关文章 开源的阶段性成长指南 一份完整的开源贡献指南（提供给第一次踏入开源伙伴秘籍） 我的实践总结：开源社区的规范设计思路 在开源社区中学会如何提问

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力，并且记录。 Notion List 工具 tool 集合： 类别 工具/概念 用途/特点 成本/定价 推荐星级 备注/建议 前端框架 Next.js 全栈框架，ServerLess，适合独立开发，SEO友好 开源免费 ★★★★★ 强烈推荐，尤其适合独立开发者，可快速构建网站和API React 构建用户界面，可与Next.js结合 开源免费 ★★★★☆ 海外项目常用，与React Native可代码复用 Vue 3 构建用户界面 开源免费 ★★★☆☆ 国内外包快速出活常用 Astro 静态网站生成器，SEO友好 开源免费 ★★★☆☆ 适合需要SEO的静态网站快速开发 前端样式/UI库 Tailwind CSS Utility-first CSS 框架，快速开发，样式好看 开源免费 ★★★★★ 强烈推荐，与Next.js等框架结合良好 shadcn/ui 基于Tailwind的组件库，复制粘贴即可用 开源免费 ★★★★☆ 推荐，提供现成高质量组件 Element Plus Vue 3 UI库 开源免费 ★★★☆☆ Vue技术栈后台常用 Ant Design (antd) React UI库 开源免费 ★★★☆☆ React技术栈后台常用 Daisy UI 基于Tailwind的组件库 开源免费 ★★★☆☆ C端项目可选 Vant / Nut UI 小程序UI库 开源免费 ★★★☆☆ Taro开发小程序时使用 Fluent UI React UI库 开源免费 ★★☆☆☆ 与Wails结合开发桌面端应用 后端框架/语言 Node.js (Express.js) JavaScript运行时，快速搭建API 开源免费 ★★★★☆ 简单快速，适合对性能要求不高的场景 Go (Gin, nunu, Krotas/Gofr) 高性能语言和框架 开源免费 ★★★☆☆ 适合需要快速出活且有一定性能要求的场景，或微服务 数据库 Supabase (PostgreSQL) 开源后端即服务平台，包含数据库 提供免费额度 ★★★★★ 推荐，集成数据库、认证等功能 PlanetScale 云数据库 (MySQL兼容)，Serverless 提供免费额度 ★★★★☆ 推荐，免费额度够用，无需自己部署 MongoDB NoSQL数据库 提供免费/付费版本 ★★★☆☆ 国内外技术栈示例中提及 MySQL 关系型数据库 开源免费 ★★★☆☆ 传统选择，可与Redis结合提升性能 认证/用户管理 Supabase Auth 集成在Supabase平台中的认证服务 每月5万免费用户额度 ★★★★★ 推荐，与Supabase生态集成良好 auth.js (NextAuth.js) Next.js 认证库 开源免费 ★★★★☆ 适用于Next.js项目 Clerk 用户管理和认证平台 提供免费/付费版本 ★★★★☆ Supabase之外的另一个选择 部署/托管 Vercel 前端云平台，与Next.js集成良好，极速部署 提供免费额度 ★★★★★ 强烈推荐，尤其适合Next.js项目，GitHub推送即可部署 Cloudflare Pages 静态网站托管，功能类似Vercel 提供免费额度 ★★★★☆ Vercel的替代选择 Railway 容器化部署平台，支持自动CI/CD 提供免费额度 ★★★★☆ 简单易用，适合容器化部署后端服务 Fly.io 全球分布式容器部署 提供免费额度 ★★★★☆ 可将应用部署在全球节点，提升访问速度 海外服务器 (如 RackNerd) 购买VPS自行部署后端API 低成本 (一年约100元) ★★★☆☆ 适用于需要独立服务器部署Node.js等后端服务的场景 Supervisor 进程管理工具 开源免费 ★★★☆☆ 用于服务器部署时管理应用进程 域名解析/CDN Cloudflare DNS解析，CDN全球加速，安全防护 提供免费计划 ★★★★★ 强烈推荐，提供免费且强大的基础服务 邮件服务 Resend 邮件发送服务 提供免费额度 ★★★★☆ 简单有效，可配合Cloudflare邮件转发 Cloudflare Email Routing 邮件转发服务 免费 ★★★★☆ 可将域名邮箱邮件转发到个人邮箱 缓存/数据存储 Upstash Serverless Redis/Kafka/Vector DB 提供免费额度 ★★★★★ 推荐！不仅用于缓存，还可用于数据存储、队列、实时功能 Redis 内存数据结构存储，用作缓存、消息代理等 开源免费 ★★★☆☆ 可自行部署或使用云服务 对象存储 Cloudflare R2 S3兼容的对象存储服务 提供免费额度，低成本 ★★★★★ 推荐，用于存储文件、图片等静态资源，无出站流量费用 统计/分析 Umami 开源网站分析工具，注重隐私 自托管免费/云版付费 ★★★★★ Google Analytics替代品，无Cookie横幅要求 Google Analytics 网站流量分析 免费 ★★★★☆ 常用工具，了解用户行为 PostHog 产品分析、A/B测试、会话录制 开源，提供免费/付费云版本 ★★★★☆ 功能强大的测试和分析工具 Openpanel / Posting Google Analytics 的替代品 可能有免费/付费版本 ★★★☆☆ 用户洞察工具 监控 Sentry 实时错误监控 提供免费额度 ★★★★☆ 快速定位和解决线上问题 CMS (内容管理系统) Sanity Headless CMS 提供免费额度 ★★★☆☆ 灵活的内容管理 Keystatic 基于Git的Headless CMS 开源免费 ★★★☆☆ 另一种CMS选择 Strapi Headless CMS 开源免费 ★★★☆☆ 可与Next.js等结合，用于动态网站或作为API后端 支付 Stripe 全球在线支付处理 按交易收费，集成免费 ★★★★★ 海外收款首选，但需国外公司注册 Lemon Squeezy 全球支付处理+订阅管理 按交易抽成3.5%+$0.5 ★★★★☆ Stripe替代方案，支持国内支付宝、微信订阅付款 微信支付 国内主流支付方式 按交易收费 ★★★★★ 国内收款必备 设计 Figma 云端UI/UX设计协作工具 提供免费计划 ★★★★★ 设计界面的主流工具，有插件可直接生成代码 代码编辑器 VSCode 流行的代码编辑器，插件丰富 免费 ★★★★★ 配合Qodo等AI插件使用 Cursor AI驱动的代码编辑器 可能有免费/付费版本 ★★★★☆ 集成AI辅助功能 AI 辅助开发 Claude Sonnet 3.5 AI大语言模型，可辅助搭建项目、编写代码逻辑 付费订阅 (Pro) ★★★★★ 开发辅助神器 DeepSeek 国产AI助手 免费使用 ★★★★☆ OpenAI的替代品，辅助创意与开发 Qodo AI代码生成、测试、审查工具 未知 ★★★☆☆ 支持JetBrains和VSCode插件，提升代码质量 笔记/知识管理 Obsidian 本地优先的笔记软件，支持双链 个人使用免费 ★★★★☆ 强大的知识管理工具 Notion 多合一工作空间，笔记、数据库、项目管理 提供免费计划 ★★★★☆ 灵活，适合团队协作和个人管理 飞书 (Lark) 企业协作平台，包含文档、即时通讯、日历等 提供免费/付费版本 ★★★★☆ 类似Notion，国内常用 代码管理 GitHub 代码托管平台，开发者社区 提供免费计划 ★★★★★ 代码版本控制和协作首选 任务管理 Notion / 飞书 / GitHub Project 项目和任务管理 提供免费计划/版本 ★★★★☆ 提升团队或个人效率 SEO 工具 Google Search Console 网站搜索表现监控 免费 ★★★★★ 了解网站在Google的表现和问题 Google Trends 查看搜索趋势 免费 ★★★★☆ 了解市场热点 Ahrefs / Semrush 专业的SEO分析工具 付费 (可能有有限免费功能) ★★★★☆ 深入分析竞争对手和关键词 App 开发 React Native 使用React构建原生App 开源免费 ★★★★☆ 一套代码，多端运行 (Web & App) Flutter Google的UI工具包，构建原生App 开源免费 ★★★☆☆ 性能和体验较好 Taro 多端统一开发框架 (小程序、H5、App) 开源免费 ★★★☆☆ 主要用于小程序开发 API 测试 Apifox API设计、开发、测试一体化协作平台 提供免费/付费版本 ★★★★☆ 推荐用于API测试 开发模板/脚手架 MvpFast Next.js快速开发模板 (作者自研) 付费 (附带课程) ★★★☆☆ 集成SaaS基础功能 (登录、支付、博客等)，加速产品上线 nunu Go语言脚手架 开源免费 ★★☆☆☆ 快速搭建Go项目 Gin-Vue-Admin 基于Gin和Vue的管理系统脚手架 开源免费 ★★★☆☆ 快速开发后台管理系统 开发理念/策略 快速开发 (Rapid Development) 尽快将产品推向市场 - N/A 核心理念：降低开发时间，快速试错 低成本启动 (Low Cost Startup) 利用免费额度和服务，最小化初始投入 - N/A 核心理念：先用免费资源，盈利后再升级 MVP (Minimum Viable Product) 构建最小可行产品，验证市场需求 - N/A 核心理念：控制开发周期 (如一周到一个月)，先上线核心功能 市场验证 (Market Validation) 通过用户反馈验证产品想法，避免闭门造车 - N/A 核心理念：先找愿意付费或使用的用户，再深入开发 ServerLess 无服务器架构 - N/A 推荐，Next.js等框架支持良好，简化运维 解决真实痛点 (Solve Real Pain) 产品要解决用户的实际问题，而非创造伪需求 - N/A 核心理念：找到市场需求是产品成功的前提 1. 引言：独立开发者的世界 独立开发，意味着自由与挑战并存。开发者不仅是代码的创造者，更是项目经理、测试工程师、运维专家，有时甚至是销售和客服。这种角色的多重性要求开发者具备广泛而深入的技能组合。本报告旨在为具备一定 Python 和 Go 基础、渴望在独立开发领域深耕或提升的开发者，提供一份详尽的指南。报告将重点聚焦后端技术栈（Python 的 Flask/Django 和 Go 的 Gin/Echo），同时涵盖必要的前端基础、核心技术能力、数据库知识、API 设计、版本控制、基础 DevOps、软件测试策略（特别关注 PostHog 和 APIFOX 工具）、常用开发工具、关键软技能以及持续学习的途径。其目标是构建一个清晰、实用的知识框架，助力独立开发者在技术选型和能力构建上做出明智决策，成功驾驭独立开发的航程。 ...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 基本信息 项目名称：gpt_researcher GitHub 地址：https://github.com/assafelovic/gpt-researcher/blob/master/README-zh_CN.md 1. GPT-Researcher 项目简介 1.1. 项目使命与愿景 GPT-Researcher 是一个由人工智能驱动的自主代理，旨在执行全面的研究任务。其核心使命是“通过人工智能为个人和组织提供准确、无偏见和基于事实的信息”1。这一使命清晰地阐述了项目旨在解决的核心问题，即在信息爆炸的时代，如何高效、可靠地获取和处理信息。 该项目的愿景是利用 AI 的力量，将传统上耗时数周且资源密集的手动研究过程，转变为一个高效、自动化的流程 1。它致力于快速提供经过精心策划和聚合的研究结果，从而显著提升信息获取和分析的效率 2。 1.2. 核心价值主张 GPT-Researcher 的主要价值在于其能够生成详尽、客观的研究报告。它通过结合大型语言模型（LLM）的强大生成能力与实时的网络信息抓取、多源数据聚合以及本地文档处理能力来实现这一目标 1。这种结合旨在克服单独使用 LLM 进行研究所面临的挑战，例如信息过时、潜在偏见和上下文长度限制。 该项目适用于多种研究场景，例如生成公司简报、进行市场分析、发现行业趋势等，能够根据用户的具体目标快速提供准确、可信的结果 2。它不仅仅是一个简单的 LLM 封装器，而是作为一个针对研究任务的特定解决方案，旨在解决 LLM 在处理需要最新、广泛且深入信息的任务时所固有的局限性 1。通过整合实时数据和结构化处理流程，GPT-Researcher 旨在提供比独立 LLM 更可靠的研究工具。 2. 应对现代研究的挑战 2.1. 问题领域 GPT-Researcher 明确旨在解决当前研究工作流中存在的若干痛点 1： 耗时的手动研究： 传统研究方法为了得出客观结论，往往需要投入数周时间及大量人力物力。 LLM 的时效性与幻觉： 基于旧数据训练的 LLM 在处理需要最新信息的任务时，可能产生不准确或“幻觉”内容。 LLM 的 Token 限制： 现有 LLM 的上下文窗口大小限制了其处理大量信息并生成长篇、详尽研究报告的能力。 信息来源的局限性与偏见： 许多自动化服务可能依赖有限的网络来源，导致信息不全面或存在偏见，进而影响研究结果的客观性。 对这些不同问题的明确阐述表明，该项目的设计不仅仅局限于简单的网络信息抓取，而是将数据质量、报告篇幅和信息可靠性作为核心的设计考量 1。这种多方面的问题定义直接塑造了项目所需的功能和架构。例如，解决数据过时问题需要实时网络访问；克服 Token 限制需要复杂的文本分块和摘要策略；确保结果无偏见则需要广泛的来源聚合和信息筛选机制。 2.2. 项目目标与设计目标 针对上述问题，GPT-Researcher 设定了清晰的项目目标和设计原则： ...

项目概览 基本信息 项目名称：Jina GitHub 地址：https://github.com/jina-ai 主要技术栈： Jina 开源项目深度分析报告 1. 项目概览 1.1. 目标与定位 Jina AI 的核心目标是为构建高质量的企业级搜索和检索增强生成（Retrieval-Augmented Generation, RAG）系统提供一个强大的基础平台 1。它旨在解决现代应用中对更高级搜索能力的需求，特别是在处理多模态数据和需要深度理解内容的场景下 1。Jina 将自身定位为 MLOps 框架，专注于帮助开发者构建和部署以微服务形式存在的 AI 应用，这些应用能够通过 gRPC、HTTP 和 WebSocket 等多种协议进行通信 3。其核心价值在于提供一套先进的模型和框架，显著提升搜索质量、相关性和效率 1。 Jina 不仅仅是一个向量搜索工具，更是一个全面的框架，用于构建、扩展和部署复杂的 AI 服务 2。它致力于简化从本地开发到生产环境部署的过渡过程，让开发者能够专注于核心算法和业务逻辑，而无需过多关注底层基础设施的复杂性 3。Jina 的设计理念使其能够支持各种主流的机器学习框架和数据类型，并提供云原生的特性 3。 1.2. 解决的问题 Jina 主要解决以下问题： 复杂 AI 服务构建与部署： 传统方式下，构建包含多个 AI 模型（如编码器、排序器、生成器）的复杂应用，并将其部署为可扩展、高可用的服务，需要大量的工程投入。Jina 通过其 Flow、Executor 和 Deployment 机制简化了这一过程 3。 多模态/跨模态数据处理： 现代应用常常需要处理文本、图像、音频、视频等多种类型的数据。Jina 通过其核心数据结构 DocArray，提供了统一的方式来表示和处理这些异构数据，支持多模态和跨模态的搜索与分析 2。 低效的搜索与 RAG 实现： 传统搜索依赖关键词匹配，而 RAG 系统需要高效地检索相关信息以增强大型语言模型（LLM）的生成能力。Jina 提供了优化的神经搜索能力，包括先进的嵌入模型和重排模型，以提高检索的准确性和相关性 1。 基础设施复杂性： 将 AI 应用部署到生产环境，需要处理容器化、服务编排、扩展性、监控等一系列云原生挑战。Jina 内置了对 Docker、Kubernetes、Docker Compose 的支持，并集成了 OpenTelemetry 等监控工具，旨在降低基础设施管理的门槛 3。 1.3. 核心价值主张 Jina 的核心价值主张体现在以下几个方面： ...

什么是Langchain？ LangChain 为开发者提供了一个强大的框架，用于快速构建和部署复杂的基于语言模型的应用程序，满足了需要集成多种语言处理功能至一体化解决方案的需求。 LangChain 的 PMF： 核心用户和使用场景：LangChain 设计用于简化使用语言模型进行应用开发的过程。它特别适合于需要将多个语言技术集成到一起的开发者和企业，例如集成聊天机器人、自动内容生成工具等。 市场需求：随着 AI 和机器学习技术的发展，市场上对于能够简化和加速语言模型应用开发的工具的需求持续增长。LangChain 通过提供一个结构化的方式来组合不同的语言能力（如理解、生成、概括等），满足了这一需求。 竞争优势：LangChain 的优势可能在于其框架的灵活性和扩展性。对开发者而言，这意味着可以用较少的代码实现更复杂的语言处理任务，这是其吸引用户的一个关键因素。 用户反馈和市场接受程度：衡量 PMF 的一个重要方面是用户的反馈和产品的市场接受程度。如果 LangChain 的用户基础持续增长，且用户反馈积极，那么可以认为它在实现良好的产品市场契合度方面是成功的。 LangChain简化了LLM应用程序生命周期的每个阶段： 开发：使用 LangChain 的开源构建块和组件构建您的应用程序。使用第三方集成和模板开始运行。 生产化：使用 LangSmith 检查、监控和评估您的链，以便您可以充满信心地持续优化和部署。 部署：使用 LangServe 将任何链转变为 API。 langchain 框架组成 具体来说，该框架由以下开源库组成： langchain-core ：基础抽象和LangChain表达式语言。 langchain-community ：第三方集成。 合作伙伴包（例如 langchain-openai 、 langchain-anthropic 等）：一些集成已进一步拆分为自己的轻量级包，仅依赖于 langchain-core 。 langchain ：构成应用程序认知架构的链、代理和检索策略。 langgraph：通过将步骤建模为图中的边和节点，使用 LLMs 构建健壮且有状态的多角色应用程序。 langserve：将 LangChain 链部署为 REST API。 更广泛的生态系统： ...

AI & Technology description: > 本文探讨了大型语言模型（LLM）的变革能力，这些模型旨在理解和生成人类语言，展示了人工智能技术的先锋角色。通过利用大量数据和复杂的机器学习架构，这些模型展现了远超前任的涌现能力。 大语言模型简介 大语言模型（LLM，Large Language Model），也称大型语言模型，是一种旨在理解和生成人类语言的人工智能模型。 LLM 通常指包含数百亿（或更多）参数的语言模型，它们在海量的文本数据上进行训练，从而获得对语言深层次的理解。目前，国外的知名 LLM 有 GPT-3.5、GPT-4、PaLM、Claude 和 LLaMA 等，国内的有文心一言、讯飞星火、通义千问、ChatGLM、百川等。 为了探索性能的极限，许多研究人员开始训练越来越庞大的语言模型，例如拥有 1750 亿参数的 GPT-3 和 5400 亿参数的 PaLM 。尽管这些大型语言模型与小型语言模型（例如 3.3 亿参数的 BERT 和 15 亿参数的 GPT-2）使用相似的架构和预训练任务，但它们展现出截然不同的能力，尤其在解决复杂任务时表现出了惊人的潜力，这被称为“涌现能力”。以 GPT-3 和 GPT-2 为例，GPT-3 可以通过学习上下文来解决少样本任务，而 GPT-2 在这方面表现较差。因此，科研界给这些庞大的语言模型起了个名字，称之为“大语言模型（LLM）”。LLM 的一个杰出应用就是 ChatGPT ，它是 GPT 系列 LLM 用于与人类对话式应用的大胆尝试，展现出了非常流畅和自然的表现。 LLM 的发展历程 语言建模的研究可以追溯到20 世纪 90 年代，当时的研究主要集中在采用统计学习方法来预测词汇，通过分析前面的词汇来预测下一个词汇。但在理解复杂语言规则方面存在一定局限性。 随后，研究人员不断尝试改进，2003 年深度学习先驱 Bengio 在他的经典论文 《A Neural Probabilistic Language Model》中，首次将深度学习的思想融入到语言模型中。强大的神经网络模型，相当于为计算机提供了强大的"大脑"来理解语言，让模型可以更好地捕捉和理解语言中的复杂关系。 2018 年左右，Transformer 架构的神经网络模型开始崭露头角。通过大量文本数据训练这些模型，使它们能够通过阅读大量文本来深入理解语言规则和模式，就像让计算机阅读整个互联网一样，对语言有了更深刻的理解，极大地提升了模型在各种自然语言处理任务上的表现。 与此同时，研究人员发现，随着语言模型规模的扩大（增加模型大小或使用更多数据），模型展现出了一些惊人的能力，在各种任务中的表现均显著提升。这一发现标志着大型语言模型（LLM）时代的开启。 LLM 的能力 涌现能力（emergent abilities） 区分大语言模型（LLM）与以前的预训练语言模型（PLM）最显著的特征之一是它们的 涌现能力 。涌现能力是一种令人惊讶的能力，它在小型模型中不明显，但在大型模型中特别突出。类似物理学中的相变现象，涌现能力就像是模型性能随着规模增大而迅速提升，超过了随机水平，也就是我们常说的量变引起质变。 ...

Sora 中文的提示词 | 调教指南。各种场景使用指南。学习怎么让它听你的话。兼顾了 Sora 的多场景应用。 这篇文章来源于 https://github.com/SoraEase/sora-prompt-zh 开源项目，SoraEase 希望为 sora 相关的开发者提供自动化，便捷，快速上手的工具和指南。 Sora | 索拉 是一个AI模型，可以从OpenAI的文本指令中创建逼真和富有想象力的场景。OpenAI正在教AI理解和模拟运动中的物理世界，目标是训练模型，帮助人们解决需要现实世界交互的问题。 如果你是 sora 的学习者，希望获取到 sora 的最新的咨询和相关的开发项目，以及 sora 相关的开源项目，这里 awesome-sora 提供了 sora 相关的Sora 中文指南，指令指南，应用开发指南，精选资源清单，Sora 开发者精选工具框架。 索拉可提供以下功能： 文本到视频 动画 扩展生成的视频 视频到视频编辑 连接视频 图像生成（文本到图像） 在这个存储库中，你会发现各种可以和索拉一起使用的提示。我们根据视频的风格分配了不同的标签，让你可以根据标签快速找到提示示例（Prompt）和生成的视频，并根据需要进行修改。 虽然索拉尚未正式发布，但我们正在全面收集提示，以帮助你快速开始使用索拉生成你想要的视频。 提示词 官方提示词生成器 视频生成提示 官方视频生成提示 点击查看更多示例 一位时尚女性穿着一件黑色皮夹克，一条长长的红色裙子和黑色靴子，手拿一个黑色的手提包，在热闹的东京街道上行走。周围充满了温暖的霓虹灯和动态的城市标识。她戴着太阳镜和红色口红，自信而随意地行走。街道潮湿而反光，形成了五彩灯光的镜面效果。许多行人在周围走动。 生成视频链接 几只巨大的长毛猛犸象漫步在积雪覆盖的草地上，它们的长毛在微风中轻轻飘动，远处是积雪覆盖的树木和戏剧性的雪山，午后的光线和稀薄的云彩以及高高悬挂的太阳形成了温暖的光芒。低角度的摄像视角令人惊叹，捕捉到了这些大型毛茸茸的哺乳动物和美丽的摄影，景深感非常强烈。 生成视频链接 一个电影预告片，讲述了一位30岁的太空人的冒险故事，他戴着一顶红色的羊毛编织头盔，蓝天，盐沙漠，电影风格，35mm胶片拍摄，色彩生动。 生成视频链接 无人机俯视着波涛汹涌的大苏尔加雷角海滩的崎岖悬崖。蓝色的海水拍打着，形成了白色的波浪，而夕阳的金光照亮了岩石海岸。远处有一座灯塔的小岛，悬崖边覆盖着绿色的灌木。从道路到海滩的陡峭下滑是一个戏剧性的壮举，悬崖边突出在海面上。这是一个捕捉到海岸的原始美和太平洋海岸公路崎岖风景的景色。 生成视频链接 动画场景展示了一个近距离的短毛怪兽跪在一个正在融化的红色蜡烛旁边。艺术风格是3D和逼真的，重点放在光线和纹理上。画面的情绪是惊奇和好奇，怪兽睁着大眼睛，张着大嘴盯着火焰看。它的姿势和表情传达出一种天真和俏皮的感觉，好像它是第一次探索周围的世界一样。温暖色调和戏剧性的光线进一步增强了图像的舒适氛围。 生成视频链接 一个华丽的纸艺世界，一个丰富多彩的珊瑚礁，到处都是色彩缤纷的鱼类和海洋生物。 生成视频链接 这个特写镜头展示了维多利亚皇冠鸽子引人注目的蓝色羽毛和红色胸膛。它的羽冠由精致的蕾丝羽毛制成，而它的眼睛是醒目的红色。鸟的头微微倾斜，给人一种威严和威严的印象。背景模糊，突出了鸟的引人注目的外观。 生成视频链接 ...

Sora ！！！ 近日，互联网上掀起了一阵关于Sora的热潮。作为OpenAI最新推出的技术，Sora赋予了文字生成视频的魔力，其展示的效果令人印象深刻。 在当前，短视频的吸引力已远超过传统的小说和图像漫画。因此，Sora的问世，可能会在视频制作领域引发一场革命。 Sora的魅力在于，它能够基于文本描述生成长达60秒的视频内容，这些内容包括了精细的场景设置、栩栩如生的角色表情，以及流畅的镜头转换。 这项技术能够塑造出多元化的角色，实现特定的动作，并且在主题和背景方面做到与描述高度一致。Sora不仅准确地理解用户的指令，还能深刻洞察这些元素在现实世界中应有的呈现方式。 Sora展现了对语言的深刻洞察力，能够精确捕捉用户的意图，创造出既生动又情感充沛的视频内容。它甚至能在同一视频中呈现多个场景，同时保证角色的连贯性和视觉风格的统一。 然而，Sora并非完美无瑕。在模拟复杂场景下的物理效应，以及理解特定因果关系方面，它仍有待提升。例如，视频中的角色可能会咬一口饼干，却未能在饼干上留下明显的痕迹。 此外，Sora在处理空间细节，如分辨方向，或是描述一段时间内的具体事件，如摄影机的移动轨迹时，也可能显示出一定的局限性。 简单来说，简单来说，Sora 是一种能用文本生成最长 60 秒视频的技术，也可以用来生成图片，因为图片本质上是一帧的视频。 这篇文章，将会从 Sora 的架构，然后到 Sora 的生态，以及最后普通人或者开发者如何利用或者使用 Sora ，为这个 AI 浪潮做准备 ~ Sora的架构与创新 Sora代表了在AI视频生成技术中的一次重大创新，它在架构上与之前的Runway及Stable Diffusion等基于扩散模型的系统有着明显的区别。核心之处在于Sora采用了Diffusion Transformer模型，这是一个结合了扩散模型和Transformer模型的先进架构，为视频生成带来了前所未有的灵活性和质量提升。 架构比较 Runway/Stable Diffusion：这些系统基于扩散模型，通过逐步向图片添加噪点，再逐步去除噪点的方式生成清晰图片。这一过程虽然能够生成高质量的图像，但在视频生成上存在限制，尤其是在处理长视频和维持视频一致性方面。 Sora：Sora利用Diffusion Transformer模型，通过Transformer的编码器-解码器架构处理含噪点的输入图像，并预测出更清晰的图像版本。这不仅提高了图像处理的效率，而且在视频生成上实现了显著的进步。Sora的创新在于它处理的基本单位不是文本的Token，而是视频的“Patch”，即随时间变化的色块，这允许Sora处理任何大小和长宽比的视频，无需预先裁剪或调整。 创新应用 Sora的架构使其能够在训练时使用更多的数据和计算资源，得到更高质量的输出。这种方法不仅避免了视频预处理可能导致的原始构图丢失问题，而且因为能够接收任何视频作为训练输入，Sora的输出不会受到训练输入构图不良的影响。此外，Sora展示了模拟复杂物理现象（如液体动力学）的能力，这得益于其在训练时使用的大量视频数据中包含的物理规则。 研究基础与启示 Sora的开发受到了《Scalable Diffusion Models with Transformers》和《Patch n’ Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution》两篇论文的启发，这些研究来自Google，并在Sora项目启动后不久发表。这些研究提供了Sora架构的理论基础和技术细节，为Sora及未来AI视频生成技术的发展奠定了坚实的基础。 通过结合扩散模型和Transformer模型，Sora不仅在技术上实现了突破，而且为视频制作和AI应用开辟了新的可能性，预示着AI在影视制作、内容创作等领域的未来将更加广阔和深入。 Sora 和之前的 AI 视频生成工具有什么升级 Sora在AI视频生成领域的出现，标志着技术进步的一个重要里程碑。与早期的AI视频生成工具相比，Sora引入了一系列创新和升级，这些改进不仅提高了视频的生成质量，而且极大地扩展了视频创作的可能性。以下是Sora与之前AI视频生成工具的主要升级和优化： 提升生成视频的质量和稳定性 Sora的技术进步主要体现在能够生成高质量视频的能力上。与之前的工具相比，Sora生成的视频可以达到长达60秒的长度，同时支持镜头切换、确保画面中的人物和背景的稳定性，以及实现高画质输出。这些改进意味着使用Sora生成的视频更加逼真，观看体验更佳，为用户提供了更为丰富和动态的视觉内容。 创新的技术架构：Diffusion Transformer模型 Sora之所以能够实现上述优势，归功于其基于Diffusion Transformer模型的创新技术架构。这一架构融合了扩散模型和Transformer模型的优点，使Sora不仅能够生成文本内容，而且能够预测生成所谓的“时空补丁”。这些时空补丁可以理解为视频中的一个小片段，包含了几帧视频内容。这种方法使得Sora在训练过程中不受视频长度和显卡性能的限制，生成过程更加灵活多样，能够组合不同的时空补丁来创造出新的视频内容。 灵活性和多样性的增强 与基于Diffusion模型的Pika或基于Transformer模型的LLM和ChatGPT等工具相比，Sora的技术架构赋予了它更高的灵活性和多样性。Pika在处理视频内容时受到显卡性能的限制，而且主要模式集中在基于图片关键帧的视频扩展或风格转换上。Sora则通过其独特的模型，能够无需拘泥于特定的视频分辨率或长度限制，创造出更加丰富和多变的视频内容。 Sora 的算力要求 在讨论Sora的使用成本和算力要求之前，我们需要明白AI视频生成技术特别是像Sora这样的先进模型，其成本和算力需求是由多种因素决定的。这些因素包括但不限于模型的复杂度、生成内容的分辨率、视频的长度、以及所需的生成质量。以下是对Sora使用成本和算力要求的一个专业化和详细的分析。 成本估算基础 在估算Sora生成60秒视频的成本前，我们参考了现有的AI生成技术的定价模式。例如，DALL-E 3的HD图像生成成本为 $0.08 每次生成，而Runway Gen-2的视频生成服务收费为$0.05/秒。这些价格提供了AI生成服务定价的大致范围。 ...