Posts

开篇与自我定位 年度序言与背景 📅 Hi! 2025 ~ TIP: 这篇文章的信息密度很高，并且带有强烈的主观，我尽可能的尝试少一些观点，多一些经验的描述，包括自己旅居过程中的经验，经历过的一些事情反思，做产品的途中的一些经验，经验是宝贵的，希望留给你触动和思考的空间越广，TOP 中选取自己感兴趣的阅读即可。 曼谷 → 尼泊尔/加德满都 的飞机上，其实心情是豁达的，从小到大做的车太多了，喜欢在车上思考一些问题。一切都是那么自然，前段时间明星王星泰国被骗的事件， 西藏/尼泊尔 地震事件。一个月前曼谷飞首尔航班事件，再到之前 加德满都 -> 博卡拉 的飞机频频失事，喜马拉雅山频繁出现意外，再去用理智和数据去推测自己的后半生的成长曲线，我是怎么也没办法说服自己就这样让自己莫名其妙的离开这个世界。反转一个场景，”世界都这么多突然了，假设我们每一天都会是最后一天，假设我当前乘坐的航班✈️也没办法顺利到达终点，最后一天，你有什么遗憾吗？” 我已经很快乐的度过每一天了，我已经在让每一天都不留遗憾的度过了。哪怕很平常的一天，走在草坪上，看看小朋友和小狗嬉闹的身影我觉得已经很幸福了。最后一天真的那么重要吗，重要的是当下，做自己想做的事情，为自己想要实现的愿望付出自己的时间、经历和生命。是此时此刻，比如说你我在思考这个问题的瞬间，感受到的乐趣，我把每一天都当做最后一天去生活，去做自己想做的事情，去尽可能的创造，为世界创造一些幸福和价值。对于一些自己无能为力，不可控的问题，交给佛祖吧 ～ !https://cdnv2.ruguoapp.com/Fmx1eiSFwVftgjXDxPT9RjdFz2X1v3.jpg?imageMogr2/auto-orient/heic-exif/1/format/jpeg/thumbnail/!120x120r/gravity/Center/crop/!120x120a0a0 又一年过去了， 上一年在维多利亚港跨年写年度小结的场景还历历在目，是什么能力可以在短短几个小时完成一篇年度小结？ 结合 AI 的能力快速完成的年度小结就像是 KPI 一样 😅。 去年就已经构思了今年的我年度总结可能会完成那哪些梦想，果然还是不能有太多的期待，结果现在回顾起来全部都是不及格，于是今年就不写年度小结了，反思一下今年的自己为什么是这样的转变。 好我喜欢写随笔，因为自己定义也是一个流浪青年，这篇文章我也会用随笔去写。 写之前想过一些定位，去年在维多利亚港看跨年烟花的时候，2023 跨年夜，我给自己的博客标了一句话： 我叫 Xinwei(bear) Xiong 🤖。我的忠诚是对冒险的忠诚☀️。 我是一个开源的极度爱好者Ⓜ️。我有一个大梦想，并会在明年实现它。 如果是那时候的我，肯定想的是今年如何去写去过哪些地方，实现了哪些的梦想。 因为日常也记录了非常多的随笔，以及当时的思考如何形成之前的我，以及现在的我。当时当下有更想写的一些东西，我很相信今年也尤其喜欢 transformation 这个词，所以这篇博客的核心，我想从 transform 这个词来深度的剖析，如果我的博客和文章是一款好的产品，投入了我大量的经历以及经验的结晶，禁得住市场和监管的考验，最终呈现给你的这款产品，面对你（与众不同且独一无二）的人来说，如何切切实实的感受到这种 transformation。 来之前看过 Reimu 的文章，那就从 Reimu 的文章开始说起，引入 transform 。 Reimu 在 2019 年大学毕业那会写过一篇万字长文《毕业后的一些思考》。我分别在大三大四读过一遍， 两次都是有缘刷到，很高兴第二次我认识了 Reimu。这篇文章讲的是 Reimu 在大学后的大量的思考以及信息攫取后输出，很有批判性思维。它确确实实让两次观看的我有了两次深刻的差异化感受，我理解这个过程就叫做 transformation，是，是我第一次阅读到第二次阅读感受的 transformation， 是我 看着 Reimu 的 transformation ，也是一个以时间为维度，两个普通平凡技术从业者时隔五年思想的 transformation。...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List I. 执行摘要 报告概述: 本报告深入剖析了现代推荐系统的现状与发展趋势，重点关注人工智能（AI），特别是大型语言模型（LLM）在其中扮演的变革性角色。推荐系统已从传统的协同过滤和基于内容的方法，演变为能够进行更深层次语义理解、具备更强上下文感知能力、并支持更丰富交互模式的个性化引擎。 核心发现: 分析表明，当前的最佳实践涉及对用户和内容的深度语义理解，通常借助 LLM 生成的嵌入向量实现。匹配与排序策略正朝着融合协同过滤知识与 LLM 能力的方向发展，同时强化学习（RL）被用于优化长期用户价值。LLM 在实现对话式推荐、处理冷启动问题以及提升推荐解释性方面展现出巨大潜力。然而，有效管理用户短期兴趣与长期偏好、确保推荐的多样性与公平性、以及构建高效的反馈优化循环（如基于人类反馈的强化学习 RLHF）仍然是关键挑战。Prompt 推荐，特别是结合检索增强生成（RAG）的技术，正在开辟新的交互范式。 最佳实践概要: 构建先进的 AI 推荐系统需要综合运用多种技术：利用 LLM 进行用户和内容的语义嵌入，采用多阶段召回与排序架构，融合协同过滤信号与语义理解，通过多臂老虎机（MAB）或 RL 策略平衡探索与利用，实施 RLHF 以对齐人类偏好，并借助 A/B 测试进行持续迭代优化。强大的工程实践，包括高效的向量数据库、MLOps 流程和可观测性，对于部署和维护这些复杂系统至关重要。 报告范围与结构: 本报告将首先回顾推荐系统的演进历程，随后深入探讨用户理解、内容智能、匹配与排序、时间动态处理、Prompt 推荐、探索与多样性、反馈与优化等核心环节的技术与实践。最后，报告将综合提炼最佳实践、关键工具与工程蓝图，并展望未来发展方向。 II. 推荐系统的演进：从协同过滤到 AI 原生系统 推荐系统的发展历程反映了信息处理和机器学习技术的不断进步，其目标始终是连接用户与他们可能感兴趣的信息或商品，缓解信息过载问题 1。 早期阶段：协同过滤（CF）与基于内容（Content-Based）的方法 推荐系统的早期基石是协同过滤和基于内容的方法。协同过滤的核心思想是利用用户群体行为模式进行推荐，主要分为基于用户的协同过滤（User-User CF）和基于物品的协同过滤（Item-Item CF）2。User-User CF 找到与目标用户兴趣相似的用户群体，推荐这些相似用户喜欢的物品；Item-Item CF 则推荐与用户过去喜欢的物品相似的其他物品 2。基于内容的方法则根据物品自身的属性（如文本描述、分类标签）和用户过去的偏好记录，推荐与用户偏好内容相似的物品 1。 矩阵分解（Matrix Factorization, MF）是协同过滤中的一个经典且强大的技术，它将高维稀疏的用户-物品交互矩阵分解为低维的用户和物品潜在特征向量（嵌入），通过向量内积预测用户对物品的偏好 3。这些早期方法在特定场景下效果显著，但普遍面临数据稀疏性（用户交互数据远少于所有可能交互）、冷启动（难以推荐新用户或新物品）以及对内容语义理解有限等挑战 1。 深度学习革命 随着深度学习的兴起，深度神经网络（DNNs）被广泛应用于推荐系统，以捕捉用户与物品之间复杂的非线性交互关系，并学习更有效的特征表示 1。诸如 Wide & Deep 4 结合了用于记忆（Memorization）的宽线性模型和用于泛化（Generalization）的深度神经网络，能够同时利用低阶和高阶特征交互。DeepFM 4 等模型则通过因子分解机（Factorization Machine）的思想自动学习特征之间的交互，避免了手动设计特征交叉。...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 1.1 概述 近年来，以 Google NotebookLM 为代表的人工智能驱动的个人知识管理和研究助手工具正迅速兴起 1。这些工具旨在通过充当用户提供文档的个性化“专家”，彻底改变用户与海量信息的交互方式 3。它们承诺能够帮助用户阅读、做笔记，并与 AI 协作来提炼和组织想法，从而更快地获得洞见 4。 1.2 用户目标回顾 本次分析的核心目标是深入理解这些先进工具背后的技术实现机制。具体而言，用户希望了解这些系统如何处理多样化的文档格式上传（如 PDF、DOCX、网页链接等）、如何解析这些文档以准确提取文本和结构、采用何种策略（如固定大小、语义分割等）对提取的文本进行分块，以及最关键的是，如何建立并维护处理后的文本片段与其在原始文档中精确位置之间的映射关系，以实现可靠的来源追溯和引用生成 [User Query]。 1.3 报告目标与范围 本报告旨在对类似 NotebookLM 的检索增强生成（Retrieval-Augmented Generation, RAG）系统中的文档处理流程进行深入剖析和技术分析，重点关注文档解析、文本分块和来源映射这三个关键环节。报告将对比分析以 NotebookLM 为代表的闭源商业解决方案（基于公开信息）与当前可用的开源替代方案在这些技术环节上的具体实现、优劣势及发展趋势，为技术决策者和开发者提供参考 [User Query]。 2. 核心挑战：摄入并理解多样化文档 2.1 多格式需求 现代知识管理工具面临的首要挑战是必须能够处理除纯文本之外的多种输入格式。这不仅是用户便利性的要求，也是有效整合不同来源信息的关键。Google NotebookLM 本身就支持 Google Docs、Google Slides、PDF、网页 URL、复制粘贴的文本，甚至 YouTube 视频链接 4。开源社区也在积极应对这一挑战，例如 Open Notebook 项目旨在支持 PDF、ePub、Office 文件（Word、Excel、PowerPoint）、音频和视频文件等 6。RAG Web UI 支持 PDF、DOCX、Markdown 和 Text 文件 7。Kotaemon 原生支持 PDF、HTML、MHTML、XLSX，并可通过集成 Unstructured 库扩展支持更多格式 8。Verba 则可以摄入文件、URL、Git 仓库，并集成了 UnstructuredIO 和 Firecrawl 等工具 9。LlamaParse 也宣称支持包括 PDF、PPTX、DOCX、XLSX、HTML、JPEG 和音频在内的多种格式 10。...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 1. 引言 1.1 设定场景：AI 初创企业时代的 TDD 人工智能（AI）初创企业正处在一个充满挑战与机遇的时代。一方面，市场要求快速迭代，迅速验证产品概念并抢占先机；另一方面，AI 应用（尤其是涉及核心模型和复杂逻辑的应用）对软件质量和可靠性有着极高的要求。在这种背景下，测试驱动开发（Test-Driven Development, TDD）作为一种强调“测试先行”和持续重构的纪律性软件开发实践，提供了一种潜在的解决方案。TDD 通过其核心的“红-绿-重构”循环，旨在提高代码质量、改善软件设计并增强代码的可维护性 1。 然而，AI 初创企业在采纳 TDD 时面临着一个核心的矛盾：TDD 的严谨性，尤其是在项目初期看似会增加开发时间，这似乎与初创企业追求极致速度以快速推出最小可行产品（MVP）或进行原型验证的目标相冲突 2。此外，AI 编程助手（如 Cursor、GitHub Copilot 等）的兴起，为开发流程带来了新的变量，它们既能加速 TDD 流程，也可能引入新的挑战。 1.2 报告目标与结构 本报告旨在为 AI 初创企业提供一份务实的指南，探讨如何在 MVP 和原型验证阶段，在 Python、React 及（可选的）Go 技术栈中，有效实施 TDD 或其适应性变体，并明智地利用 AI 编程助手（特别是 Cursor）来平衡开发速度与软件质量。 报告将遵循以下结构： TDD 基础：深入解析 TDD 的核心循环（红-绿-重构）、基本原则和其在现代软件开发中的价值。 AI 对 TDD 的影响：分析 AI 工具如何改变 TDD 工作流，探讨其优势与挑战。 AI 初创企业 MVP/原型的 TDD 策略：评估在快速变化的需求下严格遵循 TDD 的利弊，并探讨适应性方法。 技术栈 TDD 实施指南：提供针对 Python (pytest/unittest)、React (Jest/RTL) 和 Go (内置 testing 包) 的 TDD 最佳实践。 利用 AI 助手（Cursor）：探索如何将 Cursor 有效整合到 TDD 流程中。 真实世界视角：通过案例场景说明 TDD/适应性测试在 AI 初创企业中的应用。 结论与战略建议：总结关键发现，并为 AI 初创企业提供选择测试策略的 actionable guidance。 2....

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 1. 引言 1.1. MarkItDown 与 Markdown 的关系 首先需要明确，“MarkItDown”并非通用标记语言“Markdown”的笔误。MarkItDown 是一个由微软开发并开源的特定 Python 工具库 1。虽然其名称与 Markdown 相似，且其核心目标是将各种文件格式转换为 Markdown，但 MarkItDown 本身是一个独立的软件实体。本报告将聚焦于分析 MarkItDown 工具的实现原理、设计理念、功能特性及其在实际场景中的应用，同时也会在必要时提及 Markdown 语言本身作为其目标输出格式的相关背景。 1.2. MarkItDown 概述 MarkItDown 是一个轻量级的 Python 实用程序，旨在将多种类型的文件和 Office 文档转换为 Markdown 格式 1。其主要应用场景是为大型语言模型（LLM）和相关的文本分析管道准备文档数据 1。它支持广泛的文件格式，包括 PDF、Word (.docx)、PowerPoint (.pptx)、Excel (.xlsx)、图像、音频、HTML、各种文本格式（如 CSV、JSON、XML）乃至 ZIP 压缩包 1。该工具自发布以来受到了广泛关注，尤其是在需要将非结构化或半结构化数据整合到 AI 工作流中的开发者社群中 3。 1.3. 报告目标与范围 本报告旨在深入分析 MarkItDown 的技术细节与应用价值。内容将涵盖其设计哲学、核心架构、文件转换机制、安装与使用方法、与 LLM 及 Azure Document Intelligence 等外部服务的集成方式、安全考量、与其他类似工具的比较，以及实际应用场景和局限性。通过本次分析，旨在为技术决策者、开发者和数据科学家提供关于 MarkItDown 能力、优势、劣势以及适用场景的全面理解。 2. 设计哲学与目标 2.1. 核心目标：为 LLM 和文本分析服务 MarkItDown 的首要设计目标是服务于大型语言模型（LLM）和相关的文本分析流程 1。它致力于将不同来源的文档转换为一种统一的、对机器友好的格式——Markdown。这种转换的重点在于尽可能保留原始文档的重要结构和内容，例如标题、列表、表格、链接等 1。...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List I. LangGraph 简介 A. 定义 LangGraph：目标、愿景与核心价值主张 LangGraph 是由 LangChain Inc. 开发的一个底层编排框架，旨在利用大型语言模型（LLMs）构建有状态、多参与者的应用程序，特别是智能体（Agent）和多智能体工作流 1。其核心目标是为复杂的 AI 智能体任务提供可靠性、可控性和可扩展性 2。众多知名公司，如 Klarna、Elastic、Uber、Replit、LinkedIn 和 GitLab，已在生产环境中使用 LangGraph，证明了其可行性和价值 2。 LangGraph 的一个关键特性是它专注于支持循环图结构。这与许多传统 LLM 链（通常构建为有向无环图 - DAGs）不同 8。这种循环能力对于实现智能体行为至关重要，这些行为通常涉及循环、重试和基于动态决策的路径选择。LangGraph 采用 MIT 开源许可证发布，允许社区自由使用和贡献 3。 LangGraph 的出现，可以看作是 LLM 开发社区（特别是 LangChain Inc.）认识到简单线性链（例如主要由 LangChain 表达式语言 - LCEL 构建的链）不足以满足现代 AI 智能体日益增长的复杂性、动态性和状态依赖性需求的一种体现。早期的 LLM 应用主要集中在单次生成或简单的链式调用。随着人们期望构建能够执行多步骤任务、使用工具并进行交互的自主智能体，对循环（如重试、规划周期）、状态持久化（记忆、上下文）和条件逻辑的需求变得至关重要 6。主要设计用于 DAG 的 LCEL 在处理这些固有的循环和状态模式时显得力不从心 22。LangGraph 通过其明确的图/状态/节点/边模型 12 以及持久化和条件边等特性 12，直接解决了在实践中遇到的这些限制，其核心特性正是为了克服早期范式在构建复杂智能体时遇到的瓶颈而量身定制的。 B. 在 LangChain 生态系统中的定位 LangGraph 是 LangChain 生态系统的一个扩展或模块 2，通常与 LangChain 的组件一起使用，但也可以独立运行 2。它与 LangChain（提供组件/接口、用于简单链/检索流程的框架）和 LangSmith（用于可观察性、调试和评估的平台）的角色不同 2。LangGraph 专注于复杂、有状态流程的编排。...

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 基本信息： 项目名称： GitHub 地址： 主要技术栈： 补充相关文章 开源的阶段性成长指南 一份完整的开源贡献指南（提供给第一次踏入开源伙伴秘籍） 我的实践总结：开源社区的规范设计思路 在开源社区中学会如何提问

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 基本信息： 项目名称： GitHub 地址： 主要技术栈： 补充相关文章 开源的阶段性成长指南 一份完整的开源贡献指南（提供给第一次踏入开源伙伴秘籍） 我的实践总结：开源社区的规范设计思路 在开源社区中学会如何提问

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 工具集合： 类别 (Category) 工具/概念 (Tool/Concept) 用途/特点 (Purpose/Features) 成本/定价 (Cost/Pricing) 推荐星级 (Rating) 备注/建议 (Notes/Recommendations) 前端框架 Next.js 全栈框架，ServerLess，适合独立开发，SEO友好 开源免费 ★★★★★ 推荐，尤其适合独立开发者，可快速构建网站和API React 构建用户界面，可与Next.js结合 开源免费 ★★★★☆ 海外项目常用，与React Native可代码复用 Vue 3 构建用户界面 开源免费 ★★★☆☆ 国内外包快速出活常用 Astro 静态网站生成器，SEO友好 开源免费 ★★★☆☆ 适合需要SEO的静态网站快速开发 前端样式/UI库 Tailwind CSS Utility-first CSS 框架，快速开发，样式好看 开源免费 ★★★★★ 强烈推荐，与Next....

本项目是一个持续的过程，以日拱一卒的态度去学习 AI 开源项目，通过实践真实项目，结合 AI 工具，提升解决复杂问题的能力。并且记录。 notion List 基本信息 项目名称：gpt_researcher GitHub 地址：https://github.com/assafelovic/gpt-researcher/blob/master/README-zh_CN.md 1. GPT-Researcher 项目简介 1.1. 项目使命与愿景 GPT-Researcher 是一个由人工智能驱动的自主代理，旨在执行全面的研究任务。其核心使命是“通过人工智能为个人和组织提供准确、无偏见和基于事实的信息”1。这一使命清晰地阐述了项目旨在解决的核心问题，即在信息爆炸的时代，如何高效、可靠地获取和处理信息。 该项目的愿景是利用 AI 的力量，将传统上耗时数周且资源密集的手动研究过程，转变为一个高效、自动化的流程 1。它致力于快速提供经过精心策划和聚合的研究结果，从而显著提升信息获取和分析的效率 2。 1.2. 核心价值主张 GPT-Researcher 的主要价值在于其能够生成详尽、客观的研究报告。它通过结合大型语言模型（LLM）的强大生成能力与实时的网络信息抓取、多源数据聚合以及本地文档处理能力来实现这一目标 1。这种结合旨在克服单独使用 LLM 进行研究所面临的挑战，例如信息过时、潜在偏见和上下文长度限制。 该项目适用于多种研究场景，例如生成公司简报、进行市场分析、发现行业趋势等，能够根据用户的具体目标快速提供准确、可信的结果 2。它不仅仅是一个简单的 LLM 封装器，而是作为一个针对研究任务的特定解决方案，旨在解决 LLM 在处理需要最新、广泛且深入信息的任务时所固有的局限性 1。通过整合实时数据和结构化处理流程，GPT-Researcher 旨在提供比独立 LLM 更可靠的研究工具。 2. 应对现代研究的挑战 2.1. 问题领域 GPT-Researcher 明确旨在解决当前研究工作流中存在的若干痛点 1： 耗时的手动研究： 传统研究方法为了得出客观结论，往往需要投入数周时间及大量人力物力。 LLM 的时效性与幻觉： 基于旧数据训练的 LLM 在处理需要最新信息的任务时，可能产生不准确或“幻觉”内容。 LLM 的 Token 限制： 现有 LLM 的上下文窗口大小限制了其处理大量信息并生成长篇、详尽研究报告的能力。 信息来源的局限性与偏见： 许多自动化服务可能依赖有限的网络来源，导致信息不全面或存在偏见，进而影响研究结果的客观性。 对这些不同问题的明确阐述表明，该项目的设计不仅仅局限于简单的网络信息抓取，而是将数据质量、报告篇幅和信息可靠性作为核心的设计考量 1。这种多方面的问题定义直接塑造了项目所需的功能和架构。例如，解决数据过时问题需要实时网络访问；克服 Token 限制需要复杂的文本分块和摘要策略；确保结果无偏见则需要广泛的来源聚合和信息筛选机制。...