网页数据爬虫,用于房产数据研究,利用python爬虫技术采集土地拍卖数据,并对数据进行过滤处理,筛选出需要的数据,根据事先预定好的数据格式输出数据,并保存至数据库中。
900python爬虫
★全国政策产业项目(58 同城) 2022.9~2023.02 项目技能: python SQL 指标拆解 数据产品 项目背景: 公司企业产业服务产品要添加企业政策支持新模块,现有内部数据库缺失数据,需要我与用 户需求为前提给出并实施政策模块产品的数据采集、加工方案。 项目职责: 1. 方案设计:拆解用户痛点,分析产品现状,设计数据采集、加工方案; 2. 数据采集:使用 python 编写爬虫脚本,采集全国政策数据; 3. 数据加工:使用 python 针对政策数据产业与产业链标签分类进行建模。; 4. 数据落地:与产品共同完成政策产品的展现方式,并陆续跟进产品的迭代。 项目成果: 1. 爬取到 180 万条政策数据,经过清洗去重获得到 130 万条政策数据,通过产业标签赋分模型使标 签模型准确率达到 95%以上; 2. 提出政策产品后期跟新建议以及数据解决方法。
1340python爬虫
推荐交易板块: 电脑及配件:实现对该类商品的查询、用户留言功能 通讯器材:实现对该类商品的查询、用户留言功能 视听设备:实现对该类商品的查询、用户留言功能 书籍报刊:实现对该类商品的查询、用户留言功能 生活服务:实现对该类商品的查询、用户留言功能 房屋信息:实现对该类商品的查询、用户留言功能 交通工具:实现对该类商品的查询、用户留言功能 其他商品:实现对该类商品的查询、用户留言功能 (2)载入个人用户: 用户登陆 用户注册 (3)个人平台: 信息管理:实现对商品的删除、修改、查询功能 添加二手信息:实现对新商品的添加 修改个人资料:实现对用户个人信息的修改 注销 职责 写好测试的数据以及案例,参与需求评审从专业的测试角度出发去提出建议,设计测试用例,用例评审,归结测试报告,回馈BUG。 使用MySql数据库对整个流程的数据以及状态进行校验 使用Linux命令查看后端服务器日志
1230JavaJava开发工具
该项目聚焦于大数据挖掘与社交媒体情绪分析领域,借助Python的数据挖掘技术和自然语言处理(NLP)工具,对海量推特数据进行了深度挖掘与精细解析。首先,项目运用爬虫技术获取大量推文数据,并对其进行清洗、预处理和结构化存储;随后,通过情感分析模型,从文本中抽取出用户的情绪倾向,如积极、消极或中立态度,并揭示其随时间、话题变化的趋势。 在此过程中,项目不仅绘制了反映推文情感分布的时间序列图,还采用了词云、热力图等多种可视化方式,直观展现了热点话题的情感色彩及关键词频次,从而为理解公众对特定事件或议题的社会情绪动态提供有力依据,同时也验证了数据挖掘与情感分析技术在社交媒体舆情监控中的强大功能与应用价值。
1920python情感分析
该项目专注于图像识别技术与图像压缩降维算法的研究与应用。利用Python深度学习框架,我们构建了一套高效的图像识别模型,能够准确识别各类目标物体,显著提升了图像内容理解和自动分类的能力。同时,在保证识别准确度的前提下,引入PCA、LDA等降维方法对原始高维图像数据进行有效压缩,降低了数据存储成本和计算复杂度。结合可视化的手段,生动展现了降维前后图像信息的变化,以及降维处理对于图像识别性能的影响,实现了在图像高效识别中兼顾存储资源优化的目标。
1740pythonpython
主要模块: 用户模块: (1)用户注册登录模块 (2)用户管理模块 前台模块: (1)食品展示模块 (2)食品查询模块 (3)购物车模块 (4)收银台模块 (5)用户维护模块 (6)订单查询模块 (7)公告模块 后台模块: (1)食品管理模块 (2)员工管理模块 (3)管理员维护模块 (4)订单管理模块 (5)公告管理模块 (6)留言管理模块 主要功能: 作为网上订餐管理系统,展现给用户客户端前台页面是整个项目中最为重要的一环,所以在前台系统首页我们设置了详细的点餐,会员中心,订餐车,留言,找回密码等主要用户使用功能。用户可以通过点击相应的功能来快速实现自己对商品的购买。 当然,除了有用户功能的页面是远远不够的,我们还要有管理员功能。通过系统的后台管理页面,对餐厅做出实时的管理,了解用户点餐情况以及员工的管理,只有这样才能更好的运作系统,使用户拥有良好订餐体验。 管理员可以通过食品管理模块添加新菜品,以及修改原有菜品,对订餐系统中的菜品进行调整,通过添加菜品的类别可以对菜品进行更加完善的管理,还可以通过员工模块对当前餐厅的员工进行管理;通过订单管理模块可以快速的了解订单详情。 除此以外
1280Java面向方面AOP/IoC
房卡棋牌软件,内有大厅,和全国40多款地方特色棋牌游戏,湖南,海南,福建,湖北,广东,四川等省市。 内有比赛场,积分场等模式。
3040手机游戏
项目分为数据中台,调度服务,设备控制,前端管理等多个功能模块 解决在固定场地或者固定货架中,基于复合路径规划算法使多台设备复合完成搬运任务
850物联网
本Python统计分析与可视化项目对多个经济指标数据进行了深度探究,利用Pandas进行数据处理,揭示了各指标的分布特性,并借助Matplotlib和Seaborn进行图形化展示。通过对GDP、失业率、通胀率等关键指标的相关性分析,采用可视化手段直观展现各变量间的关系模式,为理解宏观经济运行机理提供了有力的数据支持
1730pythonpython
项目描述:云度APP是云度汽车为广大用户打造的,基于移动互联网用车新时代下的智能管理平台,在这里,您可以获取新鲜的行业资讯、详细的技术解答、融洽的车友交流,还可以随时随地体验全场景智能控车。 项目责任: 1、签到功能:使用Redis的Bitmap数据结构,高效地记录用户的签到情况,并且利用Redis的原子操作和位操作特性来实现高性能的签到功能。 2、支付功能(积分+金额)设计和开发 3、NFC接口联调(读卡器上传车产线数据、绑定车主、注销车主、注销车主KSS回调,上传卡公钥、删除卡数据、获取车钥匙等) 4、远程控车方案设计和问题分析。
850Java性能优化
项目描述:提供一站式大数据迁移解决方案,提供HDFS、Hive、HBASE、MaxCompute、DataWorks、Wedata、DLC、EMR等大数据迁移方案,解决方案简化迁移过程中各个环节,提升迁移效率,降低人力投入成本,实现大数据的快速迁移。 项目责任: 1.负责CDH到TBDS版本中数据源管理和配置获取 2. 负责后端应用license的有效验证功能 3. CDH到TBDS版本中kerberos认证、检验CDH、HBASE、HIVE、HDFS联 调性验证和数据迁移工作 4. 根据项目需求通过腾讯云相关认证,参与项目组内的培训技
1240Java大数据
技术架构:客户端采用cocos2dx 服务器:java 分布式架构 mongodb+mysql。 游戏类型:sns,社交,rpg 游戏平台:Android,Web
2250Java
1. B2B、B2C类 订舱产品商城;卖家系统:可发布可接订舱线路类商品;买家app:可下单等商城app操作;管理系统:产品公司使用,管理会员等。 2. 本人负责原型设计、开发详细设计、移动端编码
1070商城
1. 业务:业务录入、优先级、分派任务;费用:盈利分析、业务分析; 2. 本人负责原型设计、开发详细设计、移动端编码
1230
项目概述:围绕“一带一路”,构建“智能网格气象预报+气象灾害预警+西游记文化+大数据+互联网”的连云港“一带一路”专业气象服务保障系统,系统通过网站、APP 、小程序、公众号不同的形式展示气象的专业服务保障应用。 技术应用:SpringBoot+SpringCloud+Mybatis+Redis+Mysql+GofastDfs+VUE。 工作内容: 1、参与项目框架搭建和制定开发计划; 2、数据采集和处理模块, 数据接口访问和权限开发; 3、系统性能调优; 4、把控项目进度,协助项目组成员分析和解决项目中的问题; 5、 配合测试完成项目整体测试; 6、 项目的文档编写。
740
1.项目介绍:基于人脸识别技术的会议签到系统,旨在提高会议签到效率和安全性。传统会议签到方式通常需要参与者手动填写信息或使用纸质签到表,存在效率低下、易造假等问题。 而采用人脸识别技术可以实现快速、准确、自动化的签到过程 2.技术栈:React + Electron 3.负责内容:完成部分前端页面代码编写 4.基于jitsi-meet搭建视频会议服务器,使用Eletron进行桌面应用的开发
1400
主要功能模块有:水运资讯、免费货源、船盘资源、论坛活动、服务商城、水运图网、我的物流 我在项目里的主要工作:负责框架的搭建、服务的部署、数据库表结构的设计 主要用到的技术:mysql、springboot、mybatis、redis 在前端任务比较紧急的时候,还负责一部分前端的开发任务
1020Java
1 H5管理系统搭建 采用vite+V6 + antdPro + mqtt+react-redux等集成搭建 2 保持约定大于规范团体开发 3 复杂项目权限、路由、结构、兼容多端
1420javascript项目构建
两个系统,主要分为导调评估系统、实兵系统以及各分系统和后台管理系统。整个系统主要是支撑联合作战演习开始前的规划;演习中的信息采集处理以及参与演习的控制;演习结束后的评估分析等。 本项目采用 springboot 开发,涉及的技术有 spring,springMVC,,mybatis,log4j 等。接口 API 采用 SwaggerUl 生成;在数据访问,采用的是封装的数据访问的中间件;在项目中还使用了消息:ZRDDS;考虑系统数据后续会过多还运用了大数据存储:HBase 因项目涉密,不可展示图片等,望理解。
980JavaJava
对花果山景区内部相关物联设备的数据通过可视化交换平台进行数据对接、设备管理、应用管理,并对花果山内部人员管理行政办公、巡逻管理等,支撑花果山景区内部日常管理。 本项目采用 springboot 开发,涉及的技术有 spring,springMVC,,mybatis,log4j 等。接口 API 采用 SwaggerUl生成;在数据访问,采用的是的是 JPA 注解方式进行简单的增删改查,涉及复杂统计写 SQL 进行处理;消息推送采用的websocket 推送 项目设计机密问题不予展示图片,望理解。
1010JavaJava
当前共161715个项目
×
寻找源码
源码描述
联系方式
提交