家用显卡微调 Qwen2.5-1.5B 打造游戏顾问

摘要：本文记录了一次在家庭消费级硬件环境下（以 NVIDIA RTX 4090 为例），利用 Qwen2.5-1.5B-Instruct 模型，针对格斗游戏《街头霸王6》（Street Fighter 6, SF6）进行领域自适应微调（SFT）的完整实践。我们重点解决了搓招指令理解、帧数表记忆、现代/经典操作模式适配以及低显存下的高效训练等核心问题，最终实现了一个能像“老玩家”一样提供立回建议和连招指导的本地化 AI 助手。

1. 项目背景与动机

1.1 为什么选择《街头霸王6》？

《街头霸王6》引入了革命性的“斗气系统”（Drive System）和“现代操作模式”，使得游戏的博弈维度发生了巨大变化：

• 术语更新：传统的“确反”概念被“斗气反击（Drive Parry）”和“斗气冲击（Drive Rush）”重新定义。
• 连招复杂化：同一个角色在不同资源（斗气槽）下的连招路径完全不同。
• 数据动态性：游戏版本更新频繁（如 2024-2025 年的平衡性调整），通用大模型往往缺乏最新的帧数数据和特定版本的对策。

现有的通用大模型（如原生 Qwen、Llama）虽然懂格斗游戏的基本概念，但在具体角色的特定帧数陷阱、现代模式下的简化输入逻辑以及实时局势判断上，往往会产生“幻觉”或给出过时的建议。

1.2 硬件挑战：消费级显卡的极限

• 目标硬件：NVIDIA RTX 4090 (24GB) —— 目前家庭用户的顶配；同时也验证了 16GB 显存卡的可行性。
• 核心矛盾：
  • 全量微调 1.5B 模型虽不大，但加上优化器状态、梯度、激活值，显存依然吃紧。
  • 需要处理大量的格斗游戏专有术语（日文音译、英文缩写、中文社区黑话）。
  • 推理速度要求高，最好能达到实时辅助的水平（<200ms 延迟）。

1.3 模型选型：Qwen2.5-1.5B-Instruct

• 轻量级王者：1.5B 参数量在 24GB 显存上可以轻松开启 bf16 甚至部分 fp8 训练，推理速度极快。
• 中文能力强：相比同量级的 Llama 3，Qwen2.5 在中文语境下的理解力更强，能更好地消化国内格斗游戏社区的“黑话”（如“确反”、“择”、“凹”）。
• 长上下文支持：原生支持较长的 Context Window，适合输入复杂的对局日志或帧数表片段。

2. 数据工程：构建“格斗家”语料库

数据质量决定了模型的上限。对于 SF6 这种强逻辑游戏，我们不能只靠爬取维基百科，必须构建结构化的指令数据。

2.1 数据来源

1. 官方帧数表（Frame Data）：从 Capcom 官方或可靠的第三方网站（如 Fightermadeschool, Steam 社区指南）抓取所有 18+ 名角色的详细帧数数据。
2. 高端对局解说：收集 YouTube/Bilibili 上职业选手（如 Tokido, MenaRD, 小孩）的比赛解说字幕。
3. 社区问答：爬取 Reddit (r/streetfighter)、NGA 格斗游戏版块、贴吧的高赞攻略帖。
4. 合成数据（Self-Instruct）：利用更强的模型（如 Qwen2.5-72B 云端版）生成大量的“场景 - 对策”问答对。

2.2 数据清洗与格式化

我们将数据统一转换为 Instruction-Input-Output 格式，并特别强化了以下字段：

• 操作模式区分：明确标注是“经典模式（Classic）”还是“现代模式（Modern）”。
  • 错误示例：“按下 ↓↘→ + P”
  • 正确示例（现代模式）：“按下 → + 特殊攻击键”
• 资源状态描述：强制模型关注“斗气槽（Drive Gauge）”的状态（0-6 格）。
• 术语对齐：建立映射表，将“DP”映射为“升龙拳”，“确认”映射为“Confirm”，“确反”映射为“确认反击”。

样本示例：

{
  "instruction": "我是隆（Ryu），使用现代模式。对手肯（Ken）在近距离使用了斗气冲击（Drive Rush）压向我，我此时斗气槽剩 2 格，该怎么办？",
  "input": "角色: 隆 (现代模式) | 对手: 肯 | 距离: 近 | 对手动作: Drive Rush | 我方资源: 2 格斗气",
  "output": "情况非常危急！肯的斗气冲压迫使你必须快速反应。\n\n1. **首选对策（如果有反应）**：立即输入“↓↙← + 特殊攻击键”发动**斗气反击（Drive Parry）**。如果成功，你将获得帧数优势，可以接 2MP 或 5HP 进行确反。\n2. **备选对策（无敌技）**：如果来不及防，直接输入“→↓↘ + 特殊攻击键”发动**升龙拳（Shoryuken）**。注意：现代模式下升龙有自动防御判定，但会消耗 1 格斗气。你还有 2 格，足够使用。\n3. **切忌**：不要尝试普通格挡后反击，肯的 Drive Rush 压制通常带有多段择，普通格挡极易被投掷或破防。\n\n总结：优先尝试 DP 确反，反应不过来直接凹升龙保命。"
}

2.3 数据增强策略

为了提升模型的泛化能力，我们采用了以下增强手段：

• 视角互换：将同一场景的“进攻方”和“防守方”视角都生成一遍。
• 噪声注入：在输入中加入口语化表达、错别字（模拟玩家真实提问），如“对面肯那个红突怎么破？”
• 思维链（CoT）注入：在 Output 中强制模型先分析帧数优劣，再给出结论。

3. 训练环境配置与优化

3.1 硬件与软件栈

• GPU: NVIDIA RTX 4090 (24GB GDDR6X)
• CPU: Intel i9-13900K / AMD Ryzen 7950X
• RAM: 64GB DDR5
• OS: Ubuntu 22.04 LTS / Windows 11 (WSL2)
• 框架: PyTorch 2.3+, Transformers 4.40+, Accelerate, PEFT, Bitsandbytes

3.2 关键技术：显存优化

要在单卡上高效训练，必须组合使用以下技术：

1. QLoRA (Quantized Low-Rank Adaptation):
   • 将基座模型量化为 4-bit (NF4)，大幅降低显存占用。
   • 仅训练低秩适配器（LoRA）参数，冻结主模型。
2. Gradient Checkpointing (梯度检查点):
   • 以计算换显存，避免存储所有中间激活值。
3. Flash Attention 2:
   • 加速注意力机制计算，减少显存碎片。
4. Mixed Precision (bf16):
   • 利用 Ampere/Hopper 架构特性，使用 bfloat16 进行训练，保证数值稳定性。

3.3 超参数设置 (Hyperparameters)

经过多次实验，针对 1.5B 模型和格斗游戏数据，最佳配置如下：

预估显存占用：

• 模型权重 (4-bit): ~1 GB
• 梯度 + 优化器状态: ~6-8 GB
• 激活值 + 缓存: ~4-6 GB
• 总计: ~12-15 GB (在 24GB 卡上非常宽裕，甚至可尝试更大 Batch；在 16GB 卡上需小心调整)

4. 训练过程与监控

4.1 启动脚本 (基于 HuggingFace Trainer)

from transformers import TrainingArguments
from peft import LoraConfig, TaskType

training_args = TrainingArguments(
    output_dir="./sf6_qwen_lora",
    per_device_train_batch_size=4,
    gradient_accumulation_steps=4,
    warmup_steps=100,
    max_steps=1000, # 根据数据量调整
    learning_rate=2e-4,
    fp16=False,
    bf16=True,
    logging_steps=10,
    save_strategy="steps",
    save_steps=100,
    evaluation_strategy="no",
    gradient_checkpointing=True,
    optim="paged_adamw_8bit",
    report_to="tensorboard",
)

lora_config = LoraConfig(
    r=64,
    lora_alpha=128,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type=TaskType.CAUSAL_LM,
)

4.2 损失曲线分析

• 初始阶段：Loss 下降迅速，模型开始学习“斗气”、“现代模式”等新词汇。
• 中期阶段：Loss 波动变小，模型开始掌握“帧数优势”与“行动选择”之间的逻辑关系。
• 后期阶段：Loss 趋于平稳（约 0.8-1.2），此时需警惕过拟合。我们通过随机抽取测试集（未参与训练的问答）进行验证，发现模型能准确区分不同角色的特性。

5. 评估与实战测试

训练完成后，我们将 LoRA 权重合并到基座模型，并进行了一系列“实战考试”。

5.1 测试案例 1：基础连招查询

Prompt: “春丽在现代模式下，如何用轻脚起手打一套高伤害连招？需要消耗多少斗气？”
模型回答:

“春丽（现代模式）轻脚（2LK）起手的高伤连招如下：

1. 2LK (命中确认)
2. 取消接 5MK (中段)
3. 特殊取消接 百裂脚 (Spinning Bird Kick) -> 这里需要输入 ↓ + 特殊攻击键 并长按蓄力（现代模式简化）。
4. 超级取消 (Super Cancel) 接 千裂脚 (Houyoku-sen)。

资源消耗：

• 百裂脚本身不耗气，但为了连接顺畅可能需要 1 格斗气进行 Drive Rush 确认（可选）。
• 千裂脚（超必杀）消耗 3 格斗气。
• 如果接在 Drive Impact 后，总消耗可能达到 4-5 格。
  建议确保斗气槽至少有 3 格再尝试此连招。”

评价：准确识别了现代模式的按键逻辑，资源计算正确。

5.2 测试案例 2：立回与对策（核心难点）

Prompt: “我对线曼侬（Manon），她喜欢在中距离用重手投掷指令（Command Grab）压我，我该怎么应对？我是杰米（Jamie）。”
模型回答:

“曼侬的指令投（如 →↓↘+P/K 或现代模式的特殊键）是她的主要威胁。作为杰米，你可以采取以下策略：

1. 保持距离（Spacing）：杰米的 5HP 和 2HP 射程很长，利用这些长手技能在她够不到你的地方点进行牵制，不要让她轻易进入投掷范围。
2. 后撤步（Backdash）：曼侬的指令投前摇明显，看到动作立刻后撤。杰米的中后撤无敌帧足够躲避。
3. 斗气反击（Drive Parry）：如果你反应够快，可以帕里她的投掷前摇动作（如果是打击技派生），或者直接帕里投掷后的追击。但注意，纯指令投无法被格挡或帕里，只能靠拆投（Throw Tech）或跳跃/后撤。
4. 拆投：在她贴近的瞬间，同时按下 LP+LK（经典）或 投掷键（现代）进行拆投。

核心思路：不要盲目乱动，利用杰米的酒醉模式（Drunk Status）增加伤害，在她试图靠近时直接用 236+P (飞踢) 打断她的节奏。”

评价：逻辑清晰，区分了“指令投”不可格挡的特性，给出了具体的拆投和距离控制建议，符合高分段思路。

5.3 性能表现

• 推理延迟：在 RTX 4090 上，使用 vLLM 或 llama.cpp 量化推理，首字延迟 < 50ms，生成速度 > 100 tokens/s。完全满足实时对话需求。
• 显存占用：推理时仅需 ~2GB 显存（4-bit 量化后），甚至可以集成到游戏覆盖层（Overlay）中。

6. 遇到的问题与解决方案

6.1 问题一：幻觉（Hallucination）

现象：模型偶尔会编造不存在的连招，或者搞混角色的超必杀名称。
解决：

• RAG 增强：在推理时，先检索本地向量数据库中的官方帧数表，将相关片段作为 Context 注入 Prompt。
• 约束解码：限制模型输出特定的命令格式，对于数值类问题（如帧数），强制其引用上下文。

6.2 问题二：现代模式逻辑混淆

现象：模型有时会用经典模式的搓招指令回答现代模式的问题。
解决：

• 在数据集中大幅增加“模式对比”样本。
• 在 System Prompt 中强强调：“请始终根据用户指定的操作模式（现代/经典）提供对应的按键指令。”

6.3 问题三：显存溢出（OOM）

现象：在使用较大 Batch Size 或更长 Sequence Length 时，16GB 显存卡报错。
解决：

• 开启 gradient_checkpointing。
• 将 per_device_train_batch_size 降为 1，增加 gradient_accumulation_steps。
• 确保安装了最新版的 bitsandbytes 以支持 8-bit 优化器。

7. 总结与展望

7.1 实践结论

本次实践证明，消费级显卡（如 RTX 4090/3090）完全具备微调垂直领域小模型（1.5B - 3B）的能力。

• 成本低：无需租用昂贵的 A100/H100 集群，本地一晚即可完成训练。当然，实际过程我还是踩了不少坑。哈哈。
• 效果好：Qwen2.5-1.5B 经过针对性微调后，在《街头霸王6》领域的表现远超通用大模型，能够胜任“私人教练”的角色。

7.2 未来改进方向

1. 多模态扩展：结合屏幕截图，让模型直接“看”到对局画面（血条、位置、斗气槽），提供实时的视觉辅助（需引入 VLM，如 Qwen2.5-VL）。
2. 实时语音交互：接入 Whisper 和 TTS，实现“边打边聊”的语音陪练。
3. 强化学习（RLHF）：收集人类玩家的反馈，进一步优化模型的决策建议，使其风格更像特定的职业选手（如“激进型”或“防守型”）。

结语

通过这次实践，我们将冰冷的显卡算力，搬运成了格斗游戏中鲜活的战术智慧。在家庭实验室里，每一个开发者都能成为自己领域的“模型训练师”。