天下武功唯快不破：投机解码
AI摘要: 本文探讨了LLM加速技术的三大类方法：模型层面、计算层面和解码过程。详细介绍了投机解码的原理及其等价性证明，通过小模型生成候选序列并由大模型验证，提高推理速度。
最近的文章
用马里奥推导RL基础理论
AI摘要: 本文通过马里奥游戏实例，深入浅出地介绍了强化学习（RL）的基础理论，包括策略函数、价值函数、优势函数等核心概念。详细阐述了蒙特卡洛方法和时间差分方法在策略优化中的应用，并探讨了PPO算法如何解决训练不稳定的问题。
四种常见的分布式ID产生方式
·
AI摘要: 本文介绍了四种常见的分布式ID生成方案，包括雪花算法、Redis、MySQL单机和MySQL号段模式。每种方案都详细描述了其生成逻辑、多节点唯一性保证机制以及特点。
Bilibili下载器：AI编程真的那么香吗
·
AI摘要: 本文探讨了Rust语言与AI编程结合的实践，通过开发Bilibili下载器项目，分析了AI在编程不同阶段的表现。初期AI高效解决语法和基础逻辑问题，但随代码复杂度提升，出现上下文理解不足、重复造轮子、补丁式代码等问题。文章评估了Rust学习曲线、AI工具价值及软件工程师角色转型，指出当前AI更适合处理明确且有限的任务范围。
LLM什么时候才能输出固定格式（JSON？）
AI摘要: 本文探讨了如何让LLM输出固定格式（如JSON）的方法，包括万能prompt大法、推理后处理方案（正则表达式）和推理中处理方案（动态限制解码）。文章分析了每种方法的优缺点及适用场景，并指出当前研究的局限性。