Python

爬取天气网站 获得2022年各个月份的数据并进行可视化 导入requests、lxml、pandas库；首先，导入 requests 模块，并调用函数 requests.get(),从天气的网站上面获取该函数所需要的各种参数，然后对里面的参数进行相应的赋值 其次，使用 pandas.concat().to_excel 函数。

项目通过requests库，爬取纵横中文网标题和作者 其中用了xpath表达式，通过这些获取了标题以及作者，并保存在了一个列表中，最后通过for循环遍历输出打印出想要的格式

爬取数据，JS逆向，根据甲方需求，获取置顶网站的数据，存储到本地，做成对应的表格，对数据处理 该项目从头到尾全部由个人完成

这项功能是一个自动化工具，可以帮助用户自动登录微软账号，并领取微软积分，而且能够规避微软的机器人检测。这种高效的方式极大地提升了操作的效率，让用户能够更轻松地获取他们应得的积分。

python代写，网页数据抓取，APP数据抓取，数据分析： JS逆向，分布式爬虫，框架，数据清洗，数据分析，自动化环境搭建，脚本编写

介绍 目前功能 1.建议的弹幕姬 2.分析录播姬的弹幕文件 ，还支持在线的直播回放的弹幕分析 3.对直播收到礼物返回键盘按键映射 本人担任全部工作。分析用到了移动平均算法，kmeans算法等

自动化发布流程定制，可根据服务器自动化发布流程，从前端到后端优化发布的繁琐新，可以自动收集日志，自动版本回退，单服务器运行可在多个子服务器中发布所需要的部署包。

1、运用了scrapy框架，urllib来爬取豆瓣电影信息 2、对数据进行预处理，对缺失值和异常值进行判断，做出相对于的措施 3、对数据进行可视化分析，从更多方面了解观众的喜好，为后续电影推荐系统打下基础

随着经济的发展，当今社会进入到了信息时代，对编程语言的要求越来越高，本文于黑马程序员社区论坛爬取数据，以Python为编程语言，使用Spark对数据进行分析，并对分析结果进行可视化。

sdk运用了laravel，数据库使用mysql,redis缓存 ，使用集群业务，运用supervisor管理队列进程，使用laravel队列去管理redis任务，处理高并发，使用消息中间件发送短信等功能，开发优化后台广告系统，后台数据管理系统等相关功能，运用swoole编程技术优化高并发场景 包括发行 渠道 研发后台sdk 抖音工具的编写, 1、参与应用宝,小米,华为,三星,sdk项目开发, (使用tp编写api接口供客户端调用) 2、参与小程序工具类项目开发(采用redis技术实现队列,缓存); 3、参与后台功能编写,服务器的维护,以及与客户端sdk的对接(采用阿里云负载均衡,mysql数据库数据库双向同步,前后端分离) 4、 使用python技术封装并进行游戏打包 5. 开发优化后台广告系统，后台数据管理系统等相关功能

1.将检查数据，检查数据残缺情况，主要字段无残缺（经纬度），将csv转换为shp文件，将事件开始的经纬度作为点坐标；地理空间聚类（DBSCAN）;多元回归分析； 2.所有部分由我个人完成。

1，项目为企业结合现有的服务器资源，整合成一套完整的容器化运维平台，包含容器自动化打包，自动应用gitlab拉去发布，自动蓝绿部署、中间件快速部署的功能。

实时人人对弈：允许两名玩家通过浏览器进行五子棋游戏。 下棋对弈 悔棋 求和 认输 实时通信：提供玩家间的实时聊天功能。 游戏积分排行：根据玩家对局的精彩程度进行赋分并进行排行

个人独立开发，此项目使用Django作为后端，h5作为前端，包含鉴权、爬虫、数据分析等模块 网址：https://arkgacha.kwer.top 视频：https://www.bilibili.com/video/BV1RY411w7mr

读取pdf文件，生成文字段落，根据客户提供的关键字，匹配关键字在pdf文字段落中出现的次数，统计出结果，生成excel导出给客户。 项目包括，多线程读取excel，异步等待结果返回，算法匹配文字出现次数，统计出现概率，导出未excel。

网页自动化，根据用户多账号登陆，获取页面数据，多页面数据自动获取 制作小工具解决重复性大，浪费人力，时间的工作，减少企业成本

1.项目分为异常点检测、周期性及波动性检测、数据拟合三个模块的功能；其中，异常点检测通过iForest检测异常点并删除异常数据，利用自相关性和偏自相关性再根据检测出的异常点的分布特征得出异常周期的检测结果；选取一些指标进行数据拟合，将数据分为线性部分及非线性部分，对两部分分别使用SARIMA和RNN进行拟合，对数据进行预测。 2.我负责全部内容。 3.难点在于异常值的预测中，我们要考虑到数据的波动性，突发性和自相关性等，还有一个就是要综合考量计算成本，鲁棒性，输出结果的时效性等。并且，由于所需指标的数据与其他数据都有一定的相关性，综合考虑其他数据对结果的影响，借用其他指标作为辅助输入特征建模。而拟合部分用于预测，由于数据之间的周期性并不明显，所以需要挖掘数据的周期性，并且数据变化包括线性部分和非线性部分，所以对数据采用分割式建模，以期获得更好的结果。

实现某麦网的自动登录，js的逆向加解密，通过指定演唱会场次和票价，指定购买人信息后，实现自动抢票购票功能

Youtube数据可视化项目的背景是源于对用户原创内容市场需求和喜好的挖掘，以及热门视频影响因素的呈现。该数据集来源于Youtube每日热门视频的数据 ,数据包括视频标题、频道标题、发布时间、标签、观看次数、喜欢和不喜欢、描述以及评论数等字段 。通过分析数据集内热门视频的数据，探索其特征及规律，一方面挖掘用户原创内容的市场需求及喜好，另一方面呈现热门视频的影响因素。为内容产品的打造与运营提供一些维度的数据依据 。

爬取租房网站，获得相关信息 新冠疫情结束之后，我国经济迎来全面复苏，越来越多的年轻人选择到经济发展较好的城市寻找工作机会，其中不可避免的就是租房问题，基于此爬取贝壳二手房网站获得相关数据，主要包括房屋总价、单价、户型、类型、大小、小区名称、小区区域等 一、实验环境 pycharm 2023 社区版 二、实验步骤 前期准备 1.调用第三方库（包含requests、pyquery、time、pandas、os、random） 2.新建outdata.xlsx文件存放数据 3.新建文本文件page.txt（存放爬取的页码）、success.txt（存放每页的网址）、error.txt 4.设置请求头 主代码分析 1.提取url-list 2.解析url，获得所需要的数据 3.爬取网页每页的代码并存放到page.txt文件中 4.抓取每处房源的网址并存放到success.txt文件中 5.获取房源具体信息，存放到outdata.xlsx文件中 爬取过程 采用utf-8编码格式进行逐页爬取