深入理解神经辐射场 (NeRF):从体渲染到可微 3D 重建
全面解析神经辐射场(NeRF)的核心原理,包括 5D 输入参数化、MLP 表征、体渲染积分、可微渲染训练流程,以及 Instant-NGP、Mip-NeRF 等重要改进。
#NeRF#神经辐射场#体渲染#新视角合成#MLP
参数高效微调深度解析:从 LoRA 到 QLoRA 的全面指南
深入解析参数高效微调(PEFT)技术。重点覆盖 LoRA 及其变体(QLoRA、DoRA、LoRA+、PiSSA),同时解析 Adapter、Prefix Tuning、Prompt Tuning 等主流方法。从数学原理出发,建立完整的理论框架,分析秩选择、模块配置、权重合并等工程实践。
#PEFT#LoRA#QLoRA#DoRA#Adapter
后训练深度解析:LLM 从基座到助手的能力锻造
全面解析 LLM 后训练(Post-Training)的完整技术栈。涵盖监督微调(SFT)、偏好对齐(RLHF/DPO/GRPO/KTO)、多阶段训练流水线、数据工程(质量过滤、格式设计、课程学习)、超参数调优、评估体系、以及 DeepSeek/ChangGPT 等主流模型的训练实践。
#Post-Training#Supervised Fine-Tuning#SFT#RLHF#DPO
PPO 深度解析:信赖域优化的艺术与 LLM 对齐实践
从 TRPO 到 PPO 的演进、信赖域优化理论、GAE 优势估计、Clip 机制数学推导、KL 约束变体、PPO 用于 LLM 对齐的完整实现,以及训练稳定性、超参数调优与常见失败模式的系统性分析。
#PPO#Proximal Policy Optimization#TRPO#GAE#Reinforcement Learning
偏好对齐深度解析:从 RLHF 到 DPO/KTO 的技术演进
深入解析大语言模型的偏好对齐技术。涵盖 RLHF(PPO)、DPO、GRPO、KTO、IPO、SimPO 等主流算法,从 Bradley-Terry 偏好模型出发,建立完整的理论框架,分析各方法的优缺点、收敛性、对齐税问题,以及工程实践中的数据构建、Reward Hacking 应对策略。
#Preference Alignment#RLHF#DPO#GRPO#KTO
预训练策略:从 GPT 到 Llama,大模型的"九年义务教育"
全面解析大模型预训练策略,包括训练目标、数据工程、tokenizer、分布式训练、Scaling Laws、超参数调优及最新研究进展。
#Pre-training#大语言模型#LLM#Training Objective#Scaling Laws
QLoRA 深度解析:4-bit 量化与低秩适应的完美结合
深入解析 QLoRA(Quantized Low-Rank Adaptation)技术。涵盖 NF4 量化原理、双重量化、分页优化器、显存计算,以及 Guanaco 系列模型的技术细节与训练实践。
#QLoRA#LoRA#Quantization#NF4#4-bit
模型量化与压缩深度解析:INT8/INT4/AWQ/GPTQ 全面指南
深入解析大模型量化与压缩技术。涵盖 INT8/INT4 量化原理、GPTQ 训练后量化、AWQ 激活感知量化、GGUF/llama.cpp 实现,以及量化带来的性能损失分析与最佳实践。
#Quantization#INT8#INT4#AWQ#GPTQ
深入理解 ReAct 模式:让大模型学会推理与行动
全面解析 ReAct (Reasoning + Acting) 模式,包括其核心机制、工具调用集成、Agent 系统设计,以及与 CoT、Reflexion、AutoGPT 等模式的关系。
#ReAct#Reasoning#Acting#Agent#Tool Use
Reward Hacking 深度解析:LLM 对齐中的奖励黑客问题
深入解析 RL 和 LLM 对齐中的 Reward Hacking 问题。涵盖 Goodhart's Law、Reward Hacking 的数学形式化、表现形式(长度作弊/格式填充/RM过拟合)、检测方法(分布分析/对抗测试/人类评估)、防御策略(KL约束/多样性正则/混合奖励/红队测试),以及工程实践中的监控与迭代。
#Reward Hacking#Goodhart's Law#Reward Modeling#RLHF#Model Alignment
Profile Image of the Author

Federico

AI Research Lab

Hello, I'm Federico.

关于实验室 / About
公告

欢迎来到Federico的个人博客

分类
标签
站点统计
57文章
7分类
404标签

当前页面没有目录