1

DataPulse-AI数据采集分析平台 开源项目

我要开发同款
绘梨衣2026年06月02日
5阅读

技术信息

语言技术
PythonDockerJavaScriptVueElementUI
系统类型
WebWindows
行业分类
企业服务开发工具
开源地址
https://github.com/huiliyi122/datapulse
授权协议
MIT许可

功能介绍

🔮 AI 智能提取,告别手写选择器
不用再 F12 找 CSS、写 XPath。输入目标网页和自然语言描述,AI 自动推断数据结构并生成提取规则。支持 DeepSeek V4、OpenAI GPT-4o、本地 Ollama 三种引擎,数据不出电脑也能用。

🕷️ 双引擎爬虫,动静通吃
aiohttp 异步引擎负责普通页面的高并发采集,Playwright 无头浏览器内置 Stealth 反反爬,能绕过 webdriver 检测、验证码风控、浏览器指纹识别。代理池、UA 轮换、随机延迟一键配置。

📊 拖进来就分析,不用写 SQL
上传 CSV、Excel、JSON 秒级生成数据概览,支持相关性热力图、KMeans 聚类、时序分析、异常值检测。文本分词、情感分析、关键词提取开箱即用。

⚡ CLI + Web UI + API 三位一体
终端一行命令完成采集分析,Web 可视化面板适合日常操作,RESTful API 可嵌入你的项目。Docker 一键部署,pip install 即装即用。

🛡️ 本地优先,数据安全
Ollama 本地模型 + 本地存储,所有数据留在你的电脑上,不经过任何第三方服务器。无登录墙,打开即用。

示例图片

声明:本文仅代表作者观点,不代表本站立场。如果侵犯到您的合法权益,请联系我们删除侵权资源!如果遇到资源链接失效,请您通过评论或工单的方式通知管理员。未经允许,不得转载,本站所有资源文章禁止商业使用运营!
下载安装【程序员客栈】APP
实时对接需求、及时收发消息、丰富的开放项目需求、随时随地查看项目状态

评论