网络爬虫

可以根据需求定制完成以下内容 1、数据分析处理，python，包含数据预处理、可视化、爬虫、常见模型分析等； 2、办公自动化：excel VBA自动化、python 办公自动化 3、Axure原型设计； 4、看板搭建、数据大屏搭建

采集过的网站： Bilibili, 百度百科, Boss 直聘, 豆瓣读书, 抖音, 京东, 京东商品+评论, 链家, 天猫, 淘宝, 知乎, Taptap等 技术介绍： HTTPX等网络工具，非常快速，有效地获取数据。 模拟浏览器环境（如Selenium, Puppeteer, Headless Browsers等）来进行网页数据抓取的行为。 模拟用户真实浏览器行为：模拟人的动作，比如点击按钮、滚动页面、填写表格等。 处理动态网页：有些网站的内容不是一开始就全部显示出来的，而是你浏览的时候慢慢加载出来的。这些工具可以等待这些内容加载完，然后再收集信息。 处理JavaScript生成的页面：浏览器抓取工具可以执行JavaScript，然后把这些动态生成的内容也收集起来。 通过代理IP，解决IP访问限制，够模拟真实用户行为，绕过许多基于用户行为的反爬虫机制。

1.爬取公开网站小说文字 2.通过requests构建响应，并返回html 3.使用beautifulsoup解析需要的字段，并提取数据。 4.将获取的数据保存到txt文件中

本项目将使用Python Django框架开发一个微博情感分析平台，该平台将具有以下主要功能： 用户注册与登录：用户可以通过注册账号并登录进入平台，从而使用情感分析功能。 文本采集：平台将提供微博文本采集功能，允许用户输入微博链接或关键词，然后从微博平台上采集相关文本数据。 情感分析：平台将使用自然语言处理技术和情感分析算法，对采集到的文本进行情感分析，并显示分析结果，包括情感倾向（积极、消极）以及情感程度。 可视化展示：情感分析结果将以图表和统计数据的形式进行可视化展示，帮助用户更直观地了解情感信息。

1、抖音JS逆向破解并获取视频接口链接 2、获取主页视频并下载抖音无水印视频及封面 3、通过csv存储下载的视频信息

项目主要分为三个大方面，函数，面向对象，前端，MySQL或者splite数据库，django后端开发，运用HTML跟css实现网页样式，利用js进行页面的动态渲染，以及链接进行页面跳转，文章相关推荐功能，分页功能，时间模块，评论功能等等都已实现，利用ajak实现前后端数据的交互，最后完成个人技术网站。

AI知识工厂： （a）自动通过URL爬虫网站信息 （b）自动为知识进行标签化 （c）人工对知识进行深加工 （d）对知识进行发布

项目主要为嵌入式驱动开发，主要功能包括休眠唤醒功能，诊断协议开发，OTA DFU。 1. 休眠唤醒功能实现主要基于CAN通信与上位机交互实现，通过发送或停发网络管理报文可以控制单板上下电，使用CAN收发器TJA1043器件来控制单板上下电，70%应用层工作独自开发，使用部分驱动程序。 2. UDS诊断协议开发，完成车载诊断协议 例程（0x31）服务完整开发，例程运行状态管理，多任务异步运行状态管理。 3. OTA DFU功能开发包括固件打包、主备升级方案功能开发，Boot、App双逻辑快升级。

1、程序分为两个模块，一个模块是获取不同的城市对应的网页地址，第二个是获取每个程序具体的网点信息 2、难点：城市网页里面的html格式不是每个都相同，解决方法：根绝网页格式做判断分为几类，最终爬取到相应信息

使用scrapy爬取web端车辆 配置信息，车辆详情，图片，资讯 爬取小程序每月销量排行，成交价 图片视频需要解密，视频最后合成mp4格式存入文件夹

爬取光伏、数字孪生、储能、工业4.0、新能源、综合能源、数字化转型、充电桩、换电站、双碳、风电等相关资讯，并替换图片，存入mongoDB

项目描述：基于一线业务部门需求，抓取国外导购同行的网站商品信息数据。项目需要采集几十个同行站点，我们使用Python爬虫框架scrapy完成，主要采集信息包括商品的出站链接，商品图片以及价格等等。项目中将数据抓取，图片采集和上传，出站链接的解析和清洗分离开，各自完成自身功能。采集过程中通过对接elasticsearch和grafana报警系统对某些指标进行监控，采集完成对数据进行检测校验 重复，缺失和异常的字段，及时修正，数据通过rabbitmq队列推送给需求方。 责任描述：研究同行的网站结构，编写爬虫脚本采集商品数据； 对采集后的数据清洗、去重、整合、入库； 完善日志输出信息，对接监控和告警。

通过前端输入词汇，进行相应的判断，如果为网址输入，则使用爬虫爬出相应的评论包中的评论，目前该功能仅适配b站评论，分析网络包，否则分析语句情感。

1、采集后端django + 前端vue + mysql 实现了网站。 2、django+admin 实现了公司的后端管理 3、主要是代理ip的推广静态网页，和后端用户的管理平台。

研究不同的策略和模型对验证码的识别影响 研究参考的目标网站是条形码查询网（http://tiaoma.cnaidc.com/），可以查询条形码所对应的商品信息。

1、使用api接口方法，实现知乎问答的问题及全部答案爬取 2、使用逆向解析接口实现评论区1000条以上评论全部爬取 3、使用多线程实现高效爬取数据

运维，安全评估，爬虫，代码 .

资产管理系统是一种**以实物管理为核心，利用计算机为操作平台，通过条形码等先进技术实现对固定资产全生命周期的监管和管理的系统**。 具体来说，资产管理系统的主要功能和特点包括： 1. **资产跟踪**：系统可以对资产从采购、入库、出库、调拨、借用到报废的全过程进行监控和管理，确保资产使用的透明性和可追溯性。 2. **流程管控**：通过规范的管理流程，系统提高了资产的利用率和管理效率，使得审批中的数据和业务流程能够快速自动化流转。 3. **账物相符**：系统能够实现账目与实物的一致性，通过盘点和统计报表等功能确保资产信息的准确性。 4. **折旧计算**：根据固定资产的实际情况和国内惯例，系统可以采用平均年限法等方法对固定资产进行折旧计提。 5. **功能全面**：系统涵盖了资产档案管理、采购管理、使用管理、处置管理、盘点管理和数据查询等多个方面的信息化管理，同时也支持根据用户需求进行定制开发。 6. **结构灵活**：资产管理系统通常采用B/S或C/S结构，结合分布式数据库技术，以适应不同企业的需求。 7. **操作便捷**：系统支持在线发起采购申请、移动审批等操作，提高了工作

1、使用tkinter制作微信助手可视化UI，显示微信用户头像等基本信息 2、使用多线程技术处理消息和数据库查找 3、通过判断特定聊天词触发数据库搜索电影名返回电影链接 4、数据库分为精确查找和模糊查找区分搜索电影和电视剧，控制搜索结果返回数量

位置信息(GPS/Location)脚本编程语言手机游戏绘图(Drawing)文档管理目录服务LDAP虚拟机XMPP即时通讯3D图形处理库中文分词库缓存系统网络爬虫网络工具包Excel开发包服务器软件套件 换一批