网络爬虫

房屋成交信息自动备案到房管局-接口 按照官方流程自动备案，包括提交、审核、复审、测回、重新备案。

IFTELLME财经实时预警系统，适用于组织或个人对财经领域信息进行掌控，获得实时预警，以及数据查询及图表分析服务。系统主要功能包括会员系统、财经监控、实用监控、预警通知、我的IFTELLME、会员信息等。只需使用安装有微信客户端的移动设备都可以使用本系统。

使用Python作为编程语言，在对网站结构进行分析后利用爬虫技术下载所需的图片及相关信息，作为数据分析、人工智能训练的基础。

python代写，网页数据抓取，APP数据抓取，数据分析：框架，数据清洗，数据分析，自动化环境搭建，脚本编写，python爬虫，代码快速录入等等

IT帮帮(https://itbangbang.cn) 本系统是本人注册的一人公司名下的系统，是100%本人独立完成的所有工作。包括：前端、后端、架构、产品设计、运维、爬虫、域名等。 1.本人完成(100%) 后台管理部分； 用户端部分： 目前上线部分分为：联系、需求、服务、商机、帮豆模块。 需求：发布需求、我的需求。主要为IT类发布任务。 服务：发布任务、我的任务。主要我技能服务类服务。 商机：通过网络爬虫selenium抓取招标数据，进行展现。 帮豆：在线充值，需求竞标、查看商机会消耗帮豆。 之前曾经上线，目前暂时未显示的模块： comfyUI:采用大模型进行在线绘画作图。 视频播放； 资源上传与下载功能等。 2.涉及技术： caddy、springboot、dubbo、redis、mongodb、bootstrap、websocket、netty、MySQL、selenium、多线程、jdk17、python、jquery、vue.js、Https、 开源安全模块(天池)等、第三方支付、在线文件预览、下载模块

POJ算法刷题 排名1600 详情参考 作品截图 学习算法及刷题心得 三点: 其一,难者不会，会者不难。 觉得题目难，是因为刚接触这类题没掌握相关知识，会了以后，之后再做就会觉得有点水。 个人建议:对于刚接触的题，先试着自己根据已有知识尝试些基本思路，然后再去看《算法导论》、黑白书等学习相关知识。 其二，无论是学算法还是做其他事，赢在行动，只是想是没用的。 其三，学算法，从根本上讲，关键是要学习、掌握分析和设计算法的方法和能力。[个人相信‘熟’能生‘巧’，需要多做加 深理解。]

责任描述：负责设计和实现折扣快报APP的数据处理流程，包括线报数据的采集、清洗和整理，以及关键信息的提取和分析。通过有效的数据处理流程，确保折扣信息的准确性和及时性，同时保护商业机密，确保数据安全。 使用技术：Python, MySQL, Docker, Docker Compose, Flask, sqlalchemy 技术描述： 1.数据爬取与管理： (1)使用 Python 编写爬虫程序，实现对相关数据的批量获取。 (2)利用 SQLAlchemy ORM存储数据到Mysql，确保数据准确性和完整性。 2.系统部署与安全合规： (1)使用 Docker 管理部署，通过 Flask 提供对外接口，同时设置监控和警报机制保障系统稳定运行。 (2)严格遵守法律法规和网站使用规则，确保数据安全和用户隐私。

1.使用selenium、xpath框架，python代码编写的爬虫程序 2.爬虫网页包含：X网、5X同城、百X、X品会商品页面、京X、X瓣等

1. 功能模块： 配置校验：校验配置信息； 爬取用户信息：根据配置信息抓取用户信息； 爬取动态信息：根据配置信息抓取用户动态信息，文字，图片，视频信息保存在不同的文件夹中；

技术栈：前端（vue3+vite2）+后端（python+flask)+数据库（mysql） 实现功能：1.网易云音乐接口解析 2.账号注册/登录 3.前端界面设计 4.python后端API设计 5.邮件验证码，账号登录

1、项目分为：①竞品实时数据爬取；②对应数据分析； 2、我负责的：①代码撰写；②爬虫策略设计；③分析报告

主要分为几个部分 1 网站网络请求分析，JS源代码分析等 2 模拟浏览器发送请求，获取数据后解析数据 3 数据持久化，保存在了json文件中（抓取重点数据可保存在数据库中）

A股龙头选股程序，本人独立开发，纯python研发，使用了Python科学计算pandas,爬虫等技术，采用并行计算技术，能快速定位当前市场的龙头股，目前已经上线，目前已经测试近4个月

采用网络爬虫等技术获取地学数据，并借助Python等编程语言进行数值模拟，将模拟结果采用python各个库的调用共同完成数据处理的界面开发，并采用GMT对处理后的数据进行可视化处理。

项目比较简单基本的爬虫技术用的是xpath解析，翻页爬取自动跳转详情页面的具体参数。数据存取没设置，可以根据客户需求如，JSON，csv,mysql,mongodb.

制作动物小视频 使用人工智能（AI）技术制作动物视频的方法和过程。这种技术利用AI的图像识别、视频剪辑和合成能力，可以快速、高效地创建令人惊叹的动物影片。通过AI，我们可以深入探索动物的生活习性、行为特征和生态环境，为观众呈现更生动、精彩的动物世界。

在产品技术中心主要的工作内容如下： 1、国裕医药在线、国裕网项目： 前期主要是接手融合版订单模块、支付模块。包含易极付、微信支付、农行银企通、浦发B2B支付等 在公司的组织架构、人员调整后，主要是负责对项目的管理为主。主要项目有：国裕医药在线的前端、用户中心、统一管理中心、api、dubbo服务、扫码版、国裕网前端、文件上传系统、JMS消息系统、定时任务项目。 2、项目管理等工作： 在国裕医药在线的项目不断迭代中，主要是做需求的分解，程序设计，任务分解，把控进度，质量监督的工作，必要时做些核心模块的代码。 对于有多个需求时，严格根据项目紧急、重要程度来排期。根据个人技术能力、目前的任务量 ，按实际情况来分配任务 对项目组内的同事写的代码做Code Review，对有的代码需要改善的地方，与同事一起讨论并进行优化。 3、项目安全性等工作： 针对国裕医药在线平台做EDI安全测评。主要内容有： 密码复杂度、 登陆失败次数的处理策略、 多步骤操作的连续性鉴权（如找回密码）、 隐私与敏感信息的加密存储、全站https、 防请求头攻击、 cookie防篡改、 用于敏感信息加密存储、 web应用

1.针对美容美发行业特性服务上线， 2.开发具有多店铺，会员管理，员工管理，预约功能，活动管理，商城，分佣，作品集，微信支付等功能平台； 3.促进门店订单交易，会员实时余额查询等快捷便利服务体验。

网页爬虫 1 使用requests库发送请求 2 使用bs4来解析网页，re格式化数据，拿到数据 3 数据持久化存储（例子中存储的是csv文件，可存储在数据库等）

实时监控商品状态，当状态变更进行判断并执行自动化下单等一系列操作 本项目负责破解加密参数，功能实现以及需求梳理