网络爬虫

1、该项目为IT运维工程师自动化运维工具，可以提高系统巡检效率，增加系统巡检数据的准确性，保障系统运行指标。 2、项目包含：1）浏览器模拟登录模块，该模块实现了模拟登录和爬虫技术实现对浏览器数据的获取。2）数据分析和发送模块，该模块对系统指标进行分析并发送到webhook中。3）系统指标查询模块，该模块提供系统指标数据的查询接口并返回到前端页面用来展示具体的系统指标。 3、该项目中浏览器模拟登录模块使用python技术，数据分析和发送模块使用python技术，系统指标查询模块后端使用python技术，前端使用html和js技术。

一些简单的爬虫，进行爬取视频，图片，文本等。用了requests或selenium自动化，也会一小些简单的反爬策略，可以教学

1.使用scrapy框架实现某些网站数据的爬取； 2.为了实现高效的数据爬取，集成了redis分布式爬取插件； 3.某些网站还借助了selenium模拟浏览器，简单的实现复杂的登录行为

该项目是基于python的爬虫MOOC课程评论数据获取，用户可以通过输入关键字来获取自己想要的某一课程评论数据并将其保存到excel表格中进行可视化。 运用场景：mooc课程评论数据 开发工具：requests、jsonpath、pandas、time函数

本项目实现了高效的数据爬取脚本，自研量化模型，旨在为投资者提供全面、实时的A股市场分析与投资决策支持。项目通过自动化手段实现了对A股市场的全天候监控与量化分析，及时获取最明智的投资决策。 1. A股历史数据爬取： 数据全面：覆盖所有A股上市公司的历史数据，确保数据的广泛性和完整性。 高效采集：采用优化的爬虫技术，能够快速、准确地获取大规模数据。 数据存储：使用高效的数据库系统存储历史数据，支持快速查询和分析。 2. 24小时自动化监测： 实时监控：系统全天候运行，实时获取最新的市场数据，包括股价、成交量等关键信息。 预警系统：配置智能预警机制，当市场出现异常波动时，系统能即时发出警报。 自动更新：定时更新数据库，确保数据的时效性和准确性。 3. 量化模型分析： 实时胜率计算：基于最新数据和历史数据，量化模型实时计算每只股票的胜率。 多维度分析：综合考虑技术指标、基本面分析和市场情绪等多方面因素，提高分析的准确性。

我是一名专注于深度学习和人工智能领域的软件工程师，拥有丰富的实践经验和扎实的技术背景。我擅长使用 Python 进行编程，并在图像处理和自然语言处理领域有着深入的研究和实践。我曾成功应用深度学习模型于新闻文本分类、人体姿态识别项目以及图像分类检测等任务。 项目经验 新闻文本分类系统： 行业应用：媒体、出版、内容分析 功能实现：自动化新闻内容分类，个性化新闻推荐，内容审核 技术亮点：利用预训练模型 BERT 提升分类准确性，支持多类别文本分类 人体姿态识别系统： 行业应用：健康监测、运动分析、安全监控、人机交互 功能实现：运动训练分析，老年人跌倒检测，异常行为识别 技术亮点：实时数据处理，高准确性的姿态识别算法，易于集成的 API 设计

1、搜集A股市场的所有历史行情数据 2、搜集A股市场的所有股票板块信息 3、自动化计算板块指数等 4、自动化部署python脚本 5、数据监控报警

研究不同的策略和模型对验证码的识别影响 研究参考的目标网站是条形码查询网（http://tiaoma.cnaidc.com/），可以查询条形码所对应的商品信息。

1、采集后端django + 前端vue + mysql 实现了网站。 2、django+admin 实现了公司的后端管理 3、主要是代理ip的推广静态网页，和后端用户的管理平台。

1、程序分为两个模块，一个模块是获取不同的城市对应的网页地址，第二个是获取每个程序具体的网点信息 2、难点：城市网页里面的html格式不是每个都相同，解决方法：根绝网页格式做判断分为几类，最终爬取到相应信息

项目技术:Redis,MySQL,MyBatis-Plus,es,SpringCloud,nacos,Flyway 项目描述： 将多个数据源数据采集整合到一起，实现了各个数据源的统一管理。 避免用户在多个专项数据库之间来回切换、多次检索，在用户需要快速、 全面涉猎和研究多类知识资源时，提供一体化的检索体验。 责任描述： 1.统计每分钟的登录在线人数入库，并提供查询接口。 登录之后将key和读者id拼接存到redis，在拦截验证token类操作续期添加续期操作。 通过EnableScheduling实现定时任务，Scheduled设置每分钟执行一次，StringRedisTemplate keys方法进行模糊查询存储key数量。 2.数据采集 java爬虫采集对方数据分为接口采集，页面采集，数据库采集。 3.蚌埠装甲兵学院蚌埠校区的数据采集。金盘的用户信息接口授权登录，通过读取nacos的配置区分interlib的和金盘的预约预借、续借等接口的。 4.个人中心模块的私人收藏、书单、书评、书评切面验证码功能等，封装词典接口返回信息存到header。 5.广东技术师范大学Springe

项目有根据提供的会员ID自动查询手机号码，并且实现自动保存到XLSX里面。 可以根据用户需求更改POST请求内容 可以定制 内附有CPU识别算法加密，

1、全国建筑市场企业资质公示信息 按地市采集 337/337 数据量100万+，持续增加 2. 全国破产重整案件网公开案件 按月采集 数据量60万+，持续增加

采集过的网站： Bilibili, 百度百科, Boss 直聘, 豆瓣读书, 抖音, 京东, 京东商品+评论, 链家, 天猫, 淘宝, 知乎, Taptap等 技术介绍： HTTPX等网络工具，非常快速，有效地获取数据。 模拟浏览器环境（如Selenium, Puppeteer, Headless Browsers等）来进行网页数据抓取的行为。 模拟用户真实浏览器行为：模拟人的动作，比如点击按钮、滚动页面、填写表格等。 处理动态网页：有些网站的内容不是一开始就全部显示出来的，而是你浏览的时候慢慢加载出来的。这些工具可以等待这些内容加载完，然后再收集信息。 处理JavaScript生成的页面：浏览器抓取工具可以执行JavaScript，然后把这些动态生成的内容也收集起来。 通过代理IP，解决IP访问限制，够模拟真实用户行为，绕过许多基于用户行为的反爬虫机制。

通过前端输入词汇，进行相应的判断，如果为网址输入，则使用爬虫爬出相应的评论包中的评论，目前该功能仅适配b站评论，分析网络包，否则分析语句情感。

1、全国建筑市场企业资质公示信息 按地市采集，数据量100万+，持续增加中 2. 全国破产重整案件网公开案件 按月采集，数据量60万+，持续增加中 建筑市场企业资质公示信息的数据采集通常涉及以下步骤： 1. **确定数据来源**：确定您想要采集的建筑市场企业资质公示信息的来源，例如官方网站、数据库或其他渠道。 2. **制定数据采集计划**：制定详细的数据采集计划，包括需要采集的信息内容、采集频率、采集方式等。 3. **选择合适的工具**：根据数据来源和采集计划，选择适合的数据采集工具，比如网络爬虫、数据抓取软件等。 4. **编写数据采集脚本**：如果需要定制化的数据采集，您可能需要编写数据采集脚本来自动化数据采集过程。 5. **执行数据采集**：根据计划执行数据采集，确保数据的准确性和完整性。 6. **数据清洗和处理**：采集到的数据可能需要进行清洗和处理，确保数据质量和可用性。 7. **数据存储和分析**：将采集到的数据存储在适当的数据库或文件中，并进行分析和利用。

1.系统主要为个人练习使用，包括网络爬虫，通过表单配置进行保存和配置任务，将爬取的内容进行文件存储或者数据库保存；集成chatgpt通过代理进行AI的聊天，通过redis保存对话实现与AI对话的连续性和时效性；通过系统监听获取剪切板内容，通过跨端进行内容的一处复制，多处粘贴；使用uniapp进行移动端的开发；通过minio进行文件的上传管理；docker进行系统的容器化部署

├── auth 用户验证模块 │   ├── admin.py │   ├── apps.py │   ├── migrations │   ├── models.py 用户信息-数据模型 │   ├── urls.py 登录注册相关视图-路由地址配置 │   └── views.py 登录注册相关视图 ├── bs-frontend-template 前端vue目录 │   ├── LICENSE │   ├── encrypt.js │   ├── index.html │   ├── jest.config.js │   ├── mock │   ├── package-lock.json │   ├── package.json │   ├── public │   ├── src │   ├── tailwind.config.js │   ├── test │   ├── tsconfig.json │   └──

1、获取东方财富网站不同股票的资金流入信息 2、难点信息较多，爬取速度慢，解决方案：利用多线程加快爬取速度

可以根据需求定制完成以下内容 1、数据分析处理，python，包含数据预处理、可视化、爬虫、常见模型分析等； 2、办公自动化：excel VBA自动化、python 办公自动化 3、Axure原型设计； 4、看板搭建、数据大屏搭建