从零实现约 100M 参数 Decoder-only Transformer
LLM from Scratch从零实现并训练约 100M 参数的中文 Decoder-only Transformer, 完成 RMSNorm、RoPE、Grouped-Query Attention(GQA)等核心模块, 并构建预训练与多轮监督微调流程。 在 SFT 阶段实现 assistant-only loss, 使损失仅作用于助手回复 token。
预训练 loss 由约 8.0 降至 2.3; 在所采用的下游评测中,C3 准确率由约 0.25 提升至 0.40, XCOPA 准确率约为 0.55。
DeepSeek-R1-Distill-Qwen-7B 医疗 CoT QLoRA 微调
LLM Fine-tuning基于 DeepSeek-R1-Distill-Qwen-7B 开展医疗领域 Chain-of-Thought 数据微调, 使用约 2.5 万条训练样本构建 QLoRA 参数高效微调流程, 探索推理型语言模型在领域数据上的低成本适配。
训练后验证集困惑度(PPL)由约 5.1 降至 3.1。
Coding Agent Failure Structure Discovery
Ongoing Research从真实 Coding Agent 运行轨迹中收集失败样本, 通过聚类与机制级分析识别长程软件工程任务中的系统性失效结构, 研究失败模式、失败归因以及可复现的评测方法。
LLM Agent 分支决策与反事实校准
Agent Research基于 SPARK-1.5B 与 ALFWorld 开展智能体分支决策实验, 对 79 个状态和 237 个续写进行反事实分析, 研究内部触发信号、分支行为与真实任务收益之间的关系。
Qwen2.5-VL VQA 微调
Multimodal LLM围绕视觉问答任务开展数据预处理、监督微调以及 LoRA / QLoRA 配置, 涵盖数据加载、collator、训练模块与实验参数配置, 构建多模态大模型监督微调流程。
海冰环境船舶振动检测系统
Engineering参与海冰环境下船舶振动测量系统开发, 负责振动数据采集模块、上位机程序与 SQL Server 数据存储管理, 并参与系统集成及现场调试。