灵元子训练框架产品系统Vibe Coding

人工智能 / 大模型、国产算力（GPU 芯片）、高性能计算、软硬件系统测试与排错

灵元子（Lingyuanzi）—— 脑启发的字节级语言模型

自研的脑启发式语言模型架构（767M 参数、6 层），探索「记忆」在 Transformer 里该如何表达。

核心原创：互补注意力（Complementary Attention） 把注意力映射到 Q-K-V 框架，但让三个角色跨三种时间尺度：

Q = g（持久方向状态，跨 batch 记忆）
K = Rh（瞬时偏转，当前输入）
V = contents（冻结的先验内容表）
「持久的方向去查瞬时的偏转，取出冻结的先验内容」——这是标准注意力（每步失忆）没有的记忆结构，也是跟线性注意力（只谈复杂度）的本质区别。

其他创新：

睡眠巩固：情节（g）白天滚动、语义（contents）睡眠固化；
双轴容量 MoE：FFN 侧 Gm 路由 + 注意力侧 G_nav 路由；

20GB 字节级数据从零训练；
独立排查并解决深层问题：梯度消失、状态持久化、训练发散（NaN）、read 均匀死循环等；
自建诊断体系（read 熵、g 余弦、正交度等实时指标），全程跟踪模型行为。