RL-LLM

KO | EN

gitlite — search

#python #react #ai #llm #deep-learning #linux #nodejs #java #cli #kubernetes #vue #awesome-list #pytorch #mcp

(★ 68)

强化学习-大语言模型

RL-LLM Latest Version Download

Download Latest Version (.zip)

// repository documentation

Was this content helpful?

★ 0 (0 ratings)

# LLM-RLHF-Tuning (Enhanced Edition)

**RLHF Training Toolkit for Large Language Models**  
*Supports SFT/RM/PPO/DPO workflows with modularized architecture and multi-model compatibility.*

---

## 核心特性

### 1. **全流程 RLHF 支持**
- **SFT (Supervised Fine-Tuning)**  
  支持 Alpaca、Qwen 等模型的指令微调，兼容 HuggingFace 数据集格式。
- **RM (Reward Modeling)**  
  基于对比学习构建 Reward Model，支持多轮对话偏好标注。
- **PPO (Proximal Policy Optimization)**  
  实现高效策略梯度优化，支持基座模型 + LoRA 的轻量化训练。
- **DPO (Direct Preference Optimization)**  
  直接优化偏好对，减少奖励建模误差传递。

### 2. **模块化架构设计**
- **双适配器架构**：分离 SFT 和 RM 的 LoRA 参数，避免任务干扰。
- **共享基座模式**：通过动态权重路由实现 Actor/Critic 共享基模型。

### 3. **分布式训练优化**
| 特性                | Accelerate | DeepSpeed |
|---------------------|------------|-----------|
| 多节点分布式        | ✅         | ✅        |
| ZeRO-3 内存优化     | ❌         | ✅        |
| 混合精度训练        | ✅         | ✅        |

---

## 技术亮点

### 1. **Qwen 模型深度集成**
- **原生支持 Qwen-7B/14B**  
  适配 Qwen 的上下文窗口扩展和分组查询注意力机制。
- **LoRA 高效微调**  
  支持 Qwen 的旋转位置编码 (RoPE) 和 Flash Attention 2。

### 2. **高级训练功能**
- **自适应 KL 控制**  
  动态调节 PPO 的 KL 系数，防止策略崩溃。
- **PPO-Critic 增强**  
  引入 Value Bootstrap 和 Generalized Advantage Estimation (GAE)。
- **DPO 损失优化**  
  实现 α-softmax 温度缩放和梯度裁剪保护。

---

## 快速上手

### 1. 环境配置
```bash
# 推荐环境 (CUDA 12.1+)
pip install -r requirements.txt
pip install git+https://github.com/huggingface/peft.git@main
```

### 2. 模型训练示例
```python
from trainer import RLHFTrainer

trainer = RLHFTrainer(
    base_model="qwen/Qwen-7B",
    lora_rank=8,
    dataset_path="your_dataset",
    reward_model_path="pretrained_rm",
    output_dir="./results"
)

trainer.train(
    total_steps=5000,
    batch_size=4,
    gradient_accumulation=2,
    lr=2e-5,
    warmup_ratio=0.03
)
```

---

## 扩展能力

### 1. 模型兼容性矩阵
| 模型家族       | 支持版本 | LoRA 兼容性 | 分布式训练 |
|----------------|----------|-------------|------------|
| LLaMA          | 7B/13B   | ✔️          | ✅         |
| LLaMA2         | 7B/13B   | ✔️          | ✅         |
| Qwen2.5          | 7B/14B   | ✔️          | ✅         |

### 2. 高级配置选项
```yaml
# config.yaml 示例
training:
  algorithm: ppo
  num_epochs: 3
  micro_batch_size: 2
  macro_batch_size: 16

model:
  base_model_name: qwen/Qwen-14B
  adapter_config:
    r: 8
    lora_alpha: 16
    target_modules: ["q_proj", "v_proj"]
```

---

## 改进日志

### v2.0 (当前版本)
- **新增 Qwen 模型支持**  
  完整覆盖 Qwen 系列模型的指令微调和强化学习训练。
- **架构重构**  
  采用插件化设计，支持自定义模型/数据加载器。
- **性能优化**  
  DeepSpeed 集成带来 30% 的训练加速。

### v1.x (原版特性)
- 基础 RLHF 三阶段训练
- Alpaca 模型支持
- 加速器框架集成

---

RL-LLM

RL-LLM Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

RL-LLM

RL-LLM Latest Version Download

Today's picks

Was this content helpful?

Recent Feedback

Download README