爬虫

1. **面向用户 & 解决问题**（30%） - 面向**设计师、自媒体创作者、壁纸爱好者**，提供**高质量、自动化**的壁纸采集方案。 - 解决**手动下载效率低、图片源分散、版权不清晰**等问题。 2. **核心优势**（50%） - **智能去重**：基于**哈希/相似度算法**，避免重复爬取。 - **自动分类**：按分辨率、风格（如4K、动漫、风景）自动归档。 - **反反爬策略**：动态IP池 + 请求头轮换，稳定采集主流壁纸网站（如Wallhaven、Unsplash）。 - **轻量API支持**（可选）：通过Flask提供RESTful接口，方便集成到其他应用。 3. **技术选型**（20%） - **爬虫框架**：Scrapy（分布式）或Requests+BS4（轻量级）。 - **存储方案**：MongoDB（非结构化图片元数据） + 本地/云存储（图片文件）。 - **可视化**（可选）：用PyQt/Dash搭建管理后台，查看爬取统计。

1.本方案面向量化交易系统，解决了系统数据获取问题 2.本方案使用协程抓取多页股票数据，每3秒抓取一次，经验证可在市场交易时间内稳定工作 3.本方案使用的技术：asyncio、nest_asyncio、threading、aiohttp、pandas

软件使用语言为python语言，使用了playwright，asyncio，openpyxl模块作为主要技术，实现了自主模拟用户登陆广西人才网，小红书等网站，爬取相关信息，并将所爬取的数据存储为excel表格的功能

基于东方财富的自动化交易系统的主要功能有： 1、实时获取当日市场热门/人气龙头股票、基金、可转债结合自选、绩秀、超跌等股票进入票据池。 2、根据票据池内的票据实时获取相关股票、基金、可转债数据（如：价格、涨跌额、涨跌幅度、最低价、最高价、涨停价、跌停价、买一量、卖一量）。 3、结合实时数据分析判断相关股票、基金、可转债是否命中自定义的交易策略（如：上涨/下跌反弹策略、当日最高/低点策略、超跌策略、做T策略、涨/跌停开板策略）。 4、命中交易策略后分析交易前置条件是否满足。 5、满足交易条件后开始模拟交易或仿真交易。 6、当日交易事件结束之后重新收集数据，并对各股票、基金、可转债数据进行分析存储，次日依据该分析结果选择是否进入票据池。 该系统的作用主要在于可以有效避免投资情绪化，通过自定义策略可以有效避免追涨杀跌，同时还可以快速过滤出具有潜力属性的投资产品。

本项目旨在开发一套高效的数据抓取与翻译系统，专注于从美国、欧盟等国际重要法规网站自动获取最新法律条文及政策更新。该系统具备强大的数据挖掘能力，可以精准定位并提取所需信息，确保用户能够第一时间获取最权威的海外法规资料。此外，我们集成了先进的机器翻译技术，支持将收集到的信息实时翻译成中文和英文，满足不同用户的语言需求。通过这一平台，不仅为企业和法律专业人士提供了便捷的资源获取途径，同时也为跨国公司理解和适应国际市场规则变化提供了强有力的支持。此项目的实施将极大提高信息获取效率，减少因语言障碍导致的理解误差，助力企业在全球市场中保持竞争优势。

学校服务器基于既定的运维策略，每天特定时段会定时关闭，例如每晚 23 点至次日凌晨 5 点。这就导致同学们在服务器关闭期间，完全无法登录系统查看课程表信息，给课程安排规划和学习生活节奏带来诸多困扰。鉴于此，我运用所学的编程知识，精心编写了一个爬虫程序。它能够在服务器开放时段，精准抓取并整理课程表数据，即便服务器关闭，大家也能通过程序获取到所需课程信息。现在，我已将该程序的完整代码开源至：https://github.com/shuishenhuore/spider.git ，欢迎大家按需取用、交流优化。

构建多功能的课堂行为分析系统（结合计算机视觉模型），构建高效图像风格迁移系统软件，构建联网、本地大模型聊天室、可根据具体需求构建和训练神经网络模型，可根据需求开发自动化RPA机器人、编写网络爬虫脚本等。

1. 行业与业务场景 ​行业：电商运营/比价导购 ​场景：帮助中小商家抓取竞品（如淘宝、京东）商品价格和促销信息，制定动态调价策略，避免因定价过高流失客户。 ​2. 功能模块与实现价值 ​功能模块： ① ​数据采集层：自动翻页爬取商品名称、价格、销量、优惠券信息 ② ​数据清洗层：剔除无效数据（如已下架商品），格式化价格单位为“元” ③ ​数据展示层：每日生成价格趋势折线图，导出Excel报表 ​用户价值： 节省人工比价时间（原需2小时/天 → 5分钟/天） 促销节点提前预警（如竞品突然降价10%以上） ​3. 技术选型与架构 ​技术栈：Python + Requests + BeautifulSoup + Pandas ​架构特点： 单机脚本模式，降低部署成本 随机请求头+IP代理池（免费版）应对反爬 采用CSV暂存数据，避免数据库依赖

我专注于Python相关领域，目前主要深耕两个方向： 爬虫与逆向工程：擅长处理复杂的加密算法，包括但不限于： Cookie加密 阿卡曼加密 SM国密算法 哈希算法 对称与非对称加密 瑞数等高级加密方案 验证码处理 Python软件自动化开发：具备丰富的自动化开发经验，能够高效实现各类业务流程自动化，提升工作效率。 此外，我还掌握了RPA工具（如影刀），能够结合Python技术栈，为企业提供更智能、更高效的自动化解决方案。

1、用到drissionpage及异步搭建框架，多个账号多个取数路径，把后台数据爬入数据库 2、对大量excel进行数据清洗工作 3、用python opencv库对图片进行批量裁剪、编辑 4、后台登录程序的js逆向工作

客户要求找出上海超出400数量停车位的停车场，并说明每个停车场名称，地址，停车位数量和停车价格。采用python爬虫，解析网站，爬取数据，清洗数据后并导出到excel表格。 因为比较简单，网站没有特别验证，网址也没有经过加密，爬取过程没有用到JS逆向，全部过程基本保持在半个小时之内。 客户要求数据资料的耗时，与网站难易程度相匹配，验证参数的解密需要一定时间。

为某教育机构分析分析职业人才画像，数据爬取、入库、数据清洗、多维度的人才画像分析、FineBI可视化展示，仪表盘可导出pdf(未上传)； 还有若干数据分析项目 运维内容由于涉及到公司核心机密并无个人文件源码

本爬虫项目的主要目标是实现对 [目标网站或数据类型] 的高效数据采集。通过定制化的爬虫程序，能够自动化地访问目标网页，可以大量提取关键数据，并将其存储到本地数据库中。涉及爬虫逆向、加密等技术。 经过的开发与测试，项目已成功稳定运行，并且会长期持续维护，本爬虫项目极大地提高了他们的工作效率，为他们的业务和研究提供了有力的数据支持。

1. 对某小说网站进行关键词搜索，搜索列表多页展示，小说内容详情查看。 2. 下载小说可指定并发下载量，要求可进行多线程方式下载。 3. 对下载格式可选，可进行txt,json,epub等格式切换。 4. 对多协议处理小说内容

某博数据解密：该数据是加密状态，用户需要协议获取时，必须解析他的解密逻辑，该作品就是在在他的需求之下完成的，可以解密当前接口下的数据成明文，供选择使用，该数据是加密状态，用户需要协议获取时，必须解析他的解密逻辑，该作品就是在在他的需求之下完成的，可以解密当前接口下的数据成明文，供选择使用，该数据是加密状态，用户需要协议获取时，必须解析他的解密逻辑，该作品就是在在他的需求之下完成的，可以解密当前接口下的数据成明文，供选择使用

1、设计并实现一个具有智能管理流浪猫、智能匹配领养关系的流浪猫管理APP，减缓如今环境中流浪猫激增的情况； 2、智能推荐功能采用了基于模型的协同过滤算法，分析用户的个性，并将用户与流浪猫进行最佳匹配，便于用户选择流浪猫进行领养。内容推荐功能采用了基于用户的协同过滤算法，根据用户的浏览行为数据，分析用户的喜好，并根据用户的喜好进行推荐App内的内容； 3、设计并开发该App，主要用于日常管理、流浪猫管理、用户发布爱猫活动、用户发布小猫动态、领养猫展示等功能，推崇“让领养代替购买”的理念，希望可以尽己所能的减少流浪猫这一群体的数量。

本产品为app逆向，使用的技术有frida,反编译，爬虫； 本产品逆向的app为贝壳找房，查看附近在售房源，面积； 本产品可使用本产品批量获取贝壳找房的数据，已你想好关键参数，直接调用即可，如需提供帮助，或者定制化服务，ping作者。

基本python实现的视频爬虫程序，对B站视频的基本信息进行爬取，可以爬取任意视频(mp4格式)，视频简介，评论区评论，视频封面，视频弹幕，支持二维码登录功能，登录后显示B站昵称，支持视频转文字功能。一键生成B站视频内容。有其他需求也可以联系我。

我将利用 Python 数据爬虫技术，采集互联网的热搜数据和实时数据。通过编写高效的爬虫脚本，我可以从各大社交媒体平台和新闻网站获取最新的热搜信息，实时监测舆情动态。采集到的数据将经过清洗和处理，以确保其准确性和可用性。 与此同时，我将使用 Go 语言通过 Gin 框架搭建一个舆情后台管理系统。Gin 框架以其高性能和简洁的设计著称，适合构建高效的 web 应用。在这个系统中，我将实现数据的存储、查询和可视化功能，使得用户能够方便地查看和分析舆情数据。最终，这个系统将为企业提供实时的舆情监测和分析工具，帮助其及时应对市场变化和公众舆论。

本作品是一款功能强大的抖音爬虫工具。它能高效采集抖音上的各类数据，如账号主页、喜欢、收藏、音乐原声、搜索、关注、粉丝、合集及单作品等，还支持精确查询抖音号信息并搭建 API。通过该爬虫，可轻松获取抖音视频、用户及评论数据，为市场分析、用户画像构建和内容推荐提供有力支持，助您深度挖掘抖音平台价值。