面向个人开发者与小型团队,解决本地大模型部署后无法便捷公网分享的痛点。适用于无GPU仅用云端免费模型、有GPU跑私有模型、临时给朋友演示AI服务、低成本搭建私有聊天服务等场景,快速实现LLM服务公网可访问。
点击空白处退出提示
面向个人开发者与小型团队,解决本地大模型部署后无法便捷公网分享的痛点。适用于无GPU仅用云端免费模型、有GPU跑私有模型、临时给朋友演示AI服务、低成本搭建私有聊天服务等场景,快速实现LLM服务公网可访问。
项目提供两套独立可用的大模型公网暴露方案:
1. Streamlit+OpenRouter:无需GPU,通过OpenRouter调用DeepSeek/Qwen3/Llama4等免费模型,一键部署到Streamlit Community Cloud,生成公网聊天页面;
2. ngrok+本地Ollama:有GPU时,本地运行Ollama模型(如Qwen3),通过ngrok/cpolar隧道把localhost:5000暴露为公网URL,支持直接分享给他人使用;
3. 附带ngrok/cpolar/端口转发/云服务器等多种公网暴露教程,适配不同网络与硬件条件;
4. 提供Windows一键启动脚本,自动安装配置ngrok,降低操作门槛。
本人独立完成项目整体设计与开发:
1. 用Python+Streamlit实现Web聊天界面,对接OpenRouter API,完成模型调用与对话交互;
2. 编写PowerShell/bat脚本,实现ngrok自动安装、token配置、隧道启动全流程自动化;
3. 整理并验证ngrok/cpolar/路由器端口转发/云服务器部署等多套公网暴露方案,适配不同用户环境;
4. 解决免费模型速率限制、本地端口占用、跨网络访问稳定性等问题,输出完整可复现的部署文档。




评论