拾遗记 - Kasen's Blog

使用 LangGraph 构建带记忆的对话 Agent

发表于 2025-07-06 分类于 AI ， Agents 本文字数： 1.7k 阅读时长 ≈ 6 分钟

LangGraph/LangChain 的官方文档不仅落后于发布版本，而且内容也有些混乱。于是，我索性写一些博客来重新整理使用 LangGraph 构建 Agent 的过程。

发表于 2025-06-25 分类于 AI ， LLM 本文字数： 4k 阅读时长 ≈ 15 分钟

LoRA 超参数的最佳实践及其如何影响微调过程。

发表于 2025-05-03 分类于 AI ， Agents 本文字数： 5k 阅读时长 ≈ 18 分钟

我们与数十个行业的团队合作构建 LLM 智能体。我们发现，最成功的实现无一例外都使用简单、可组合的模式，而不是复杂的框架。

发表于 2025-04-06 分类于 AI ， LLM 本文字数： 1.7k 阅读时长 ≈ 6 分钟

SwiGLU 作为一种高效的激活函数，近几年已被广泛应用于许多 LLM 中，例如 Llama 系列、DeepSeek LLM 和 Qwen 1.5 等。在了解 SwiGLU 之前，需要先了解它的几个重要 “前身”，即 Swish、SiLU 和 GLU 激活函数。

发表于 2025-02-18 分类于 AI ， Transformer 本文字数： 1.4k 阅读时长 ≈ 5 分钟

在上一篇文章中已经实现了完整的编解码器，那么接下去我们就可以实现完整的 Transformer 结构。不过在此之前，需要先为 Mask 编写几个辅助方法。