归档 - AIAttnStudio

Large Language Models32 Generative AI14 3D Vision5 Computer Vision2 Deep Learning2 Embodied AI1 文章示例1

Computer Vision深入理解 3D Gaussian Splatting (3DGS)：从原理到实践

#3DGS #Gaussian Splatting #三维重建 #新视角合成 #NeRF #可微渲染 #辐射场 #计算机图形学

3D Vision深度解析 ActionMesh：Temporal 3D Diffusion 实现动画 3D 网格生成

#ActionMesh #Temporal 3D Diffusion #动画网格生成 #Video-to-4D #CVPR 2026 #3D生成 #时序一致性 #拓扑一致 #VecSet #TripoSG

Large Language Models深入理解 AI Agent 架构：从单 Agent 到多 Agent 协作

#AI Agent #Agent Architecture #Multi-Agent #AutoGPT #LangGraph #Memory #Tool Use #ReAct #Planning

Large Language Models深入理解 Chain-of-Thought (CoT)：让大模型学会"思考"

#CoT #Chain-of-Thought #思维链 #推理 #Prompt Engineering #LLM #大语言模型 #Self-Consistency

Deep LearningCLIP 深度剖析：对比语言-图像预训练的完整技术栈

#CLIP #对比学习 #视觉语言预训练 #零样本分类 #零样本迁移 #ViT #文本编码器 #多模态 #Radford #Zero-shot

Generative AIConsistency Models 深度解析：一步生成扩散模型

#Consistency Models #CM #Consistency Distillation #EDM #DDPM #LCM #一步生成 #Song ChunLIU #扩散模型蒸馏 #扩散模型加速 #TTCT #TTST #生成式 AI

Generative AIControlNet 深度剖析：条件控制扩散模型的结构化控制系统

#ControlNet #条件扩散 #姿态控制 #深度图控制 #边缘检测 #ControlNet-XS #T2I-Adapter #Stable Diffusion #多模态控制 #零样本迁移

Large Language Models数据构建深度解析：LLM 训练数据的艺术与科学

#Data Construction #Data Engineering #Pre-training Data #SFT Data #Preference Data #Data Quality #Data Filtering #Data Deduplication #Data Scaling #LLM Training #Dataset Curation

Generative AIDDIM 深度剖析：从随机马尔可夫链到确定性隐式模型

#DDIM #扩散模型 #隐式模型 #确定性采样 #Song #加速推理 #ODE #非马尔可夫 #轨迹视图

Generative AIDDPM 深度剖析：变分推断视角下的去噪扩散概率模型

#DDPM #扩散模型 #变分推断 #Score Matching #ELBO #DDIM #Ho #生成式AI #逆向过程

Large Language ModelsDeepSeek-R1 深度解析：推理能力涌现与纯 RL 的范式突破

#DeepSeek-R1 #DeepSeek-R1-Zero #Chain-of-Thought #Reinforcement Learning #LLM Reasoning #GRPO #Reasoning Models #Distillation #Model Merging #Inference Scaling Law

Generative AI深入理解 Diffusion Transformer (DiT)：扩散模型的 Transformer 范式

#DiT #Diffusion Transformer #生成式AI #Stable Diffusion #扩散模型 #AdaLN #视觉生成 #Sora #UNet

Large Language Models分布式训练深度解析：Data / Tensor / Pipeline / Sequence Parallelism

#Distributed Training #Data Parallelism #Tensor Parallelism #Pipeline Parallelism #Sequence Parallelism #FSDP #DeepSpeed #Megatron-LM #GPU Cluster #Communication #Gradient Synchronization #Mixed Precision #Model Parallelism

Large Language ModelsDoRA 深度解析：权重分解低秩适应的理论与实践

#DoRA #LoRA #PEFT #Weight Decomposition #Low-Rank Adaptation #LLM Fine-Tuning #Parameter-Efficient

Large Language ModelsDPO 深度解析：绕过强化学习的直接偏好优化

#DPO #Direct Preference Optimization #LLM Alignment #IPO #KTO #SimPO #ORPO #Preference Learning #RLHF #Language Model

3D Vision深度解析 DUSt3R：无需相机标定的稠密无约束立体 3D 重建

#DUSt3R #3D重建 #Pointmap #CroCo #CVPR 2024 #多目立体 #深度估计 #位姿估计 #无监督标定 #Transformer

Generative AI深入理解 Flow Matching：生成建模的统一理论框架

#Flow Matching #生成式AI #扩散模型 #Optimal Transport #Rectified Flow #常微分方程 #概率流 #Lipman #MMDiT

Large Language Models深入理解 Function Calling：让大模型连接真实世界

#Function Calling #Tool Use #Function Calling #JSON Schema #大语言模型 #LLM Agent #OpenAI #Claude

Large Language ModelsGRPO 深度解析：DeepSeek 的高效对齐算法与数学推理革命

#GRPO #Group Relative Policy Optimization #DeepSeek #Reinforcement Learning #LLM Alignment #RLHF #PPO #Math Reasoning #Chain-of-Thought #Reinforced Fine-Tuning

Generative AI深度解析腾讯混元 3D (Hunyuan3D)：大规模扩散模型的 3D 资产生成

#Hunyuan3D #混元3D #腾讯 #3D生成 #Flow Matching #DiT #PBR材质 #单图像3D #HunyuanDiT #纹理合成

Large Language Models知识蒸馏深度解析：从大模型到小模型的智能迁移

#Knowledge Distillation #Model Compression #LLM Distillation #Response Distillation #Feature Distillation #MiniLLM #Model Compression #Transfer Learning #Dark Knowledge

Large Language ModelsKV Cache 优化与内存管理深度解析：PagedAttention 原理与实践

#KV Cache #PagedAttention #LLM Inference #Memory Management #GPU Optimization #Attention Mechanism #vLLM #FlashAttention #Cache Eviction #Prefix Caching

Generative AILatent Diffusion Model 深度剖析：从像素扩散到潜在空间生成

#LDM #Stable Diffusion #潜在扩散模型 #VAE #感知压缩 #交叉注意力 #条件生成 #文本到图像 #Stable Diffusion XL #语义压缩

Large Language ModelsLLaVA 深度剖析：从视觉指令微调到开源多模态助手的完整技术栈

#LLaVA #视觉指令微调 #多模态助手 #Vicuna #GPT-4V #开源 VLM #模态对齐 #图像理解 #指令微调 #LLaVA-1.5 #LLaVA-1.6

Generative AI深度解析 LRM：大型重建模型与单图像 3D 重建的突破

#LRM #Large Reconstruction Model #单图像3D重建 #One-2-3-45 #OpenLRM #TripoSG #InstantMesh #前馈生成 #3DGS #Mesh

Large Language Models深入理解 Mamba：选择性状态空间模型的架构与实现

#Mamba #SSM #状态空间模型 #选择性扫描 #选择性状态空间 #大语言模型 #Mamba-2 #Jamba

3D Vision深度解析 MASt3R：融合 3D 几何的稠密匹配新范式

#MASt3R #3D匹配 #DUSt3R #ECCV 2024 #局部特征 #Metric Pointmap #Fast Reciprocal Matching #视觉定位 #稠密匹配 #Transformer

3D Vision深度解析 MeshFlow：MeshVAE + Flow Matching DiT 实现高效艺术家风格网格生成

#MeshFlow #MeshVAE #Flow Matching #DiT #CVPR 2026 #3D网格生成 #艺术家风格 #连续潜在空间 #TokenMerge #点云条件生成

Large Language Models深入理解 MoE (混合专家模型)：稀疏激活与高效扩展

#MoE #混合专家模型 #大语言模型 #稀疏激活 #Transformer #模型扩展 #Mixtral #DeepSeek

Generative AI深入理解 MMDiT：多模态扩散 Transformer 与 Stable Diffusion 3 革命

#MMDiT #Multimodal #Stable Diffusion 3 #SD3 #FLUX #DiT #Rectified Flow #Text-to-Image #生成式AI

Computer Vision深入理解神经辐射场 (NeRF)：从体渲染到可微 3D 重建

#NeRF #神经辐射场 #体渲染 #新视角合成 #MLP #可微渲染 #3D重建 #体积渲染

Large Language Models参数高效微调深度解析：从 LoRA 到 QLoRA 的全面指南

#PEFT #LoRA #QLoRA #DoRA #Adapter #Prefix Tuning #Prompt Tuning #Parameter-Efficient Fine-Tuning #LLM Fine-Tuning #Low-Rank Adaptation #Model Optimization

Large Language Models后训练深度解析：LLM 从基座到助手的能力锻造

#Post-Training #Supervised Fine-Tuning #SFT #RLHF #DPO #GRPO #KTO #Model Alignment #Preference Alignment #LLM Training #Reward Modeling #Curriculum Learning

Large Language ModelsPPO 深度解析：信赖域优化的艺术与 LLM 对齐实践

#PPO #Proximal Policy Optimization #TRPO #GAE #Reinforcement Learning #LLM Alignment #RLHF #Advantage Estimation #Trust Region #Policy Gradient

Large Language Models偏好对齐深度解析：从 RLHF 到 DPO/KTO 的技术演进

#Preference Alignment #RLHF #DPO #GRPO #KTO #IPO #SimPO #Model Alignment #Reward Modeling #Bradley-Terry #LLM Alignment #Alignment Tax #Reward Hacking

Large Language Models预训练策略：从 GPT 到 Llama，大模型的"九年义务教育"

#Pre-training #大语言模型 #LLM #Training Objective #Scaling Laws #Distributed Training #GPT #Llama

Large Language ModelsQLoRA 深度解析：4-bit 量化与低秩适应的完美结合

#QLoRA #LoRA #Quantization #NF4 #4-bit #LLM Fine-Tuning #Memory Optimization #Guanaco #PEFT

Large Language Models模型量化与压缩深度解析：INT8/INT4/AWQ/GPTQ 全面指南

#Quantization #INT8 #INT4 #AWQ #GPTQ #Model Compression #LLM Inference #GGUF #llama.cpp #Weight Quantization #Activation Quantization

Large Language Models深入理解 ReAct 模式：让大模型学会推理与行动

#ReAct #Reasoning #Acting #Agent #Tool Use #大语言模型 #LLM Agent #Function Calling

Large Language ModelsReward Hacking 深度解析：LLM 对齐中的奖励黑客问题

#Reward Hacking #Goodhart's Law #Reward Modeling #RLHF #Model Alignment #KL Divergence #Distribution Shift #Overoptimization #LLM Safety #Alignment

Large Language ModelsRLHF 深度解析：从人类反馈到 PPO/GRPO/DPO 的对齐革命

#RLHF #PPO #GRPO #DPO #Reward Model #Preference Learning #LLM Alignment #Reinforcement Learning #KTO #SimPO #Constitutional AI #RLAIF

Large Language ModelsRoPE (Rotary Position Embedding) 深度解析：旋转位置编码的数学之美

#RoPE #Rotary Position Embedding #Position Encoding #LLM #Transformer #LLaMA #Attention #Rotary Embeddings #NTK #YaRN #Relative Position

3D Vision深度解析 Scaffold-GS：结构化 3D 高斯与视角自适应渲染

#Scaffold-GS #3DGS #结构化高斯 #视角自适应 #CVPR 2024 #神经渲染 #锚点 #高斯泼溅 #新视角合成

Generative AIStable Diffusion LoRA 微调：从 Dreambooth 到社区生态的完整指南

#LoRA #DreamBooth #Textual Inversion #Stable Diffusion #SDXL LoRA #LyCORIS #Dreambooth #SD微调 #AI绘画 #Civitai #Stable Diffusion微调

Large Language Models深入理解状态空间模型 (SSM)：RNN 与 Transformer 的优雅融合

#SSM #状态空间模型 #Mamba #S4 #循环神经网络 #长序列建模 #线性注意力 #语言模型

Large Language Models监督微调 SFT：从基础模型到任务专家的关键一步

#SFT #Supervised Fine-Tuning #LoRA #QLoRA #Instruction Tuning #Chat Template #PEFT #Instruction Following

Large Language Models推理时扩展深度解析：Test-Time Scaling 的理论与实践

#Test-Time Scaling #Inference-Time Compute #Chain-of-Thought #Self-Consistency #Process Reward Model #PRM #Best-of-N #Beam Search #Tree of Thoughts #Reasoning #LLM Scaling

Generative AI深度解析 Microsoft TRELLIS：结构化潜在表示与可扩展的 3D 资产生成

#TRELLIS #3D生成 #SLAT #结构化潜在表示 #Rectified Flow #微软 #多格式输出 #Mesh #3DGS #NeRF

Generative AI视频生成模型深度解析：从 Video DiT 到 Sora 架构

#Video Diffusion #Sora #Video DiT #CogVideoX #Wan2.1 #Open-Sora #Latent Video Diffusion #VideoLDM #LVDM #视频生成 #时空建模 #扩散模型 #DiT #3D VAE #视频压缩

Embodied AIVLA 架构深度剖析：视觉语言动作模型与机器人操控

#VLA #视觉语言动作模型 #机器人操控 #RT-2 #OpenVLA #π₀ #动作分块 #具身智能 #模仿学习 #机器人学习 #Physical AI

Large Language Models多模态大模型 VLM 架构：从模态对齐到 GPT-4V 的完整技术栈

#VLM #多模态 #视觉语言模型 #LLaVA #GPT-4V #Qwen-VL #模态对齐 #多模态推理 #视觉理解 #LLM

Deep Learning深入理解 Vision Transformer (ViT)：图像识别的范式革新

#Vision Transformer #ViT #图像识别 #自注意力 #计算机视觉 #Transformer #深度学习 #图像分类

Large Language ModelsvLLM 深度解析：高效 LLM 推理引擎的架构与实践

#vLLM #LLM Inference #PagedAttention #KV Cache #Continuous Batching #Tensor Parallelism #CUDA Graphs #Hugging Face #Serving #GPU Optimization

Large Language ModelsYaRN / LongRoPE 深度解析：大模型上下文扩展技术

#YaRN #LongRoPE #Context Extension #Position Encoding #RoPE Scaling #LLM #Position Interpolation #NTK #Yarn #Long Context #Context Length Extension

Generative AI深入理解扩散模型 (Diffusion Model)：从原理到实践

#Diffusion #生成式AI #Stable Diffusion #去噪扩散 #GAN对比 #计算机视觉 #图像生成

Large Language Models深入理解 Transformer 架构：从注意力机制到 GPT

#Transformer #深度学习 #大语言模型 #Attention #自注意力 #GPT #BERT #LLM