【立项原因】
AIPC（AI PC）是近两年 PC 行业的主要增长方向，但真正落地时会遇到两个现实问题：
一是"AI 能力装在本地"和"模型在云端"两条路线长期割裂，用户在不同场景下
需要在本地隐私保护和云端推理能力之间反复取舍；二是用户的硬件配置差异极大，
同一套 AI 应用在高端显卡上能跑，在低配机器上就卡死或崩溃。
立项的核心目标，是做一个"能在各种硬件配置上都真正可用"的桌面端 AI 助手，
让终端厂商在整机交付时可以直接预装，而不需要用户自己折腾环境配置。
【行业场景与业务背景】
业务场景主要面向 PC 整机厂商与政企终端采购。这类客户对两件事最敏感：
一是数据不能随意上云（尤其是党政、金融、医疗等行业对本地化部署有硬性要求），
二是产品必须开箱即用，不能要求用户具备一定技术能力才能配置。
因此产品需要同时支持本地模型推理与云端模型调用，并能在异构硬件上
自动适配。这一需求在 AIPC 概念兴起后变得尤为迫切——整机厂商需要
一个能随设备交付的 AI 入口，而不是再推一个需要用户自己安装的第三方软件。
【作品功能描述】
面向 AIPC 桌面端的 AI 智能助手应用，支持本地模型与云端模型双模式运行。
用户可以在同一个界面里，根据任务性质自由切换：涉及敏感数据时走本地模型，
需要更强推理能力时走云端模型，无需更换软件。
对接 Ollama 本地推理框架，能在 Mac（Metal）、Intel（IPEX）、AMD（ROCm）
三种异构硬件平台上自动匹配对应的推理引擎；并依据当前 GPU 显存容量，
动态下发合适的模型参数量，避免小显存设备加载大模型导致崩溃。
【典型使用流程】
1. 首次启动：应用自动探测本机硬件配置（CPU 架构、GPU 型号、显存大小、
可用内存），在后台给出推荐的模型清单，用户一键下载即可使用。
2. 日常使用：输入自然语言问题或上传文档，应用根据设置自动选择本地或云端模型，
流式返回结果。
3. 环境切换：用户手动切换模型时，模型按需加载、空闲自动卸载，
不会长期占用内存影响其他软件。
【主要负责模块】
负责端侧 AI 能力的整体架构：模型管理、推理引擎适配层、硬件资源探测
与模型下发策略，以及本地/云端模型的统一调用协议。
【技术难点与解法】
难点是桌面端内存受限（不能像服务器一样常驻大模型），以及硬件平台碎片化。
解法是用 Go 重写 AI 网关替换原先的 JVM 实现以降低内存占用，
并通过硬件探测 + 分级模型方案让同一套应用在不同配置上都能跑起来。
【成果】
已在 AIPC 产品中实际交付，支持多平台安装部署，
并在整机厂商合作项目中实际使用。
【我负责的具体任务】
作为 AI 产品技术负责人，我主导了端侧 AI 能力的整体技术方案设计与核心落地，
具体包括：
1. AI 网关架构重构：原网关基于 JVM 实现，常驻内存占用过高，不适合桌面端。
我主导用 Go 重写网关，将内存占用降低到适合 AIPC 常驻的水平，
同时保证与原有云端服务的协议兼容。
2. 多模型统一协议：设计统一的模型调用抽象层，屏蔽 Qwen 等云端模型与
Ollama 本地模型在协议上的差异，上层业务无需关心模型来源，
通过 SSE 流式返回结果，并用双向心跳保活维持长连接稳定性。
3. 异构硬件适配：实现硬件资源探测模块，识别 Mac（Metal）、
Intel（IPEX）、AMD（ROCm）三类推理后端，自动匹配对应的推理引擎。
4. 模型分级下发策略：按 GPU 显存容量动态决定可下发的模型参数量，
避免小显存设备加载大模型导致 OOM 崩溃。
5. 模型管理模块：负责模型下载、更新、版本切换与本地缓存管理。
【技术栈与架构】
- 网关层：Go（高并发、低内存占用）
- 桌面应用层：Node.js / Electron 体系
- 推理层：Ollama，适配 Metal / IPEX / ROCm 三类后端
- 容器与环境：Docker（开发与部署环境隔离）
- 数据层：Mongo（模型元数据与用户配置存储）
【实现亮点与难点】
最大的难点是桌面端的内存约束——服务器端可以为了性能常驻大对象，
桌面端不行，用户同时开着浏览器、办公软件，留给 AI 应用的内存很有限。
除了用 Go 重写网关，我们还做了按需加载：模型只在被调用时加载，
空闲超时自动卸载。
另一个难点是硬件碎片化。同一份安装包要跑在 Mac、Intel 核显、AMD 独显上，
我们通过运行时探测 + 引擎动态选择来解决，而不是打多个安
评论