特征处理

项目名称：社交网络用户影响力分析与建模 一、项目背景 随着互联网技术的发展，社交媒体平台如微博、微信、Facebook、Instagram等越来越受欢迎。人们通过这些平台分享信息、互动交流，形成了庞大的社交网络。社交媒体用户产生了大量的内容，包括文字、图片、视频等。其中一部分用户因其独特的观点、创造性的内容或广泛的关注者而受到关注，拥有较高的影响力。交网络用户影响力分析可以帮助企业识别具有较高影响力的用户，找到合适的合作伙伴进行品牌合作、产品推广等。通过与具有影响力的用户合作，可以提高品牌知名度、扩大产品影响力。 二、项目需求 2.1. 业务需求 •分析用户个人信息与用户影响力的关联关系 •通过用户数据对比，识别出更据影响力的一方，制定合作用户选择策略 个人完成

以下是对代码的分析和总结，按照您提供的参考框架进行分类： 1. 软件面向的行业和业务场景 (25%) 该代码实现了一个基于机器学习的股票因子模型，面向金融行业，特别是量化投资和股票市场分析领域。其主要业务场景包括： 股票因子计算：通过技术因子和基本面因子的计算，分析股票的历史表现和市场特征。 预测模型训练：基于历史数据训练机器学习模型（随机森林），预测股票的未来收益。 投资决策支持：为投资者提供股票预测结果，帮助筛选出具有潜力的股票。 2. 项目分为哪些功能模块，对用户来说具体实现哪些功能 (50%) 功能模块划分及实现功能： 数据获取模块 功能：获取股票数据，包括历史价格数据和最新市场数据。 实现： get_sample_stocks：随机抽取样本股票，过滤掉ST股票、北交所股票和上市不足一年的股票。 get_historical_price_data：通过akshare获取股票的历史价格数据。 get_latest_market_data：通过akshare获取最新市场数据，包括股票的实时价格、换手率、成交量等。 因子计算模块 功能：计算技术因子和基本面因子，用于后续模型训练。 实现： calculate_technical_factors：计算动量因子、波动率因子、均线因子、RSI指标和MACD指标。 calculate_fundamental_factors：计算市盈率、市净率、换手率、量比、总市值和流通市值等基本面因子。 process_factors：对因子进行去极值处理和标准化处理。 模型训练模块 功能：训练随机森林模型，预测股票的未来收益。 实现： prepare_target：准备目标变量（5日收益率），并对数据进行去极值处理。 train_model：使用交叉验证训练随机森林模型，输出模型的特征重要性和预测性能指标（MSE）。 预测与结果生成模块 功能：基于训练好的模型生成股票预测结果，并筛选出具有潜力的股票。 实现： predict：对样本股票进行预测，生成预测收益，并结合市场数据筛选符合条件的股票。 输出结果包括股票名称、最新价、预测收益、涨跌幅、换手率、成交额、量比和市盈率等信息。 辅助模块 功能：提供数据清洗、异常处理和日志输出等功能。 实现： winsorize：对数据进行去极值处理。 standardize：对数据进行标准化处理。 main：程序入口，调用各模块完成整个流程。 3. 项目的技术选型和架构特点 (25%) 技术选型： 数据获取： 使用akshare和tushare获取股票数据，支持历史价格数据和实时市场数据的获取。 数据处理： 使用pandas和numpy进行数据清洗、因子计算和特征工程。 机器学习： 使用scikit-learn实现随机森林回归模型，支持交叉验证和特征重要性分析。 进度条： 使用tqdm显示数据获取和处理的进度条，提升用户体验。 异常处理： 使用try-except结构捕获异常，确保程序的健壮性。 架构特点： 模块化设计： 代码按照功能划分为多个模块，每个模块负责特定的任务，便于维护和扩展。 数据驱动： 整个流程以数据为核心，从数据获取到因子计算，再到模型训练和预测，每一步都依赖于数据的处理和转换。 机器学习集成： 将机器学习模型（随机森林）集成到股票因子分析中，实现对股票收益的预测。 异常处理与日志输出： 在关键步骤添加异常处理和日志输出，确保程序的稳定性和可调试性。 随机性控制： 使用固定的随机种子（random.seed和np.random.seed）确保结果的可重复性。 总结 该代码实现了一个完整的股票因子分析和预测系统，适用于金融行业的量化投资场景。通过模块化设计和机器学习技术的应用，用户可以高效地计算股票因子、训练预测模型并生成投资决策支持结果。

 店铺搜索效果优化，包括粗排，精排，样本，特征优化，店铺内UCVR累计提升10%  券搜策略优化：对于高价item/个性化item进行提权，UV价值提升20%  垂搜流量调控：从0到1开发垂站等流量调控：包括EE/特定品置顶/穿插的策略

1、基于最新的算法、最全的数据样本训练、最优的系统架构。 2、支持CPU、GPU兼容。 3、目标类型、车辆品牌、车头车尾、车身颜色、车辆类型、车牌类型、车牌号码、危险品车、出租车、驾驶人员、纸巾盒、遮阳板、天窗、收费类型等检测。

本项目基于先进的深度学习算法，结合图像处理和生成对抗网络（GAN）技术，致力于打造能够生成高质量虚拟场景和角色形象的AI程序。通过简单的图片输入，用户可以轻松生成逼真的虚拟形象，无需复杂的操作和专业的图像处理技能。这使得该程序不仅适用于普通用户，也为影视制作公司、广告创意团队以及其他需要定制化图像内容的领域提供了极大的便利。 该AI程序的核心优势在于其多功能性和强大的适应性。用户可以生成各种风格的虚拟场景，从逼真的现实场景到未来主义的科幻世界，从二次元的卡通风格到虚拟人类的超写实形象，均可轻松实现。同时，程序支持对生成图像的精细化控制，包括但不限于角色的表情、姿态、服装风格、场景灯光以及背景环境等。这使得用户能够根据个人或项目需求，对生成内容进行高度定制化调整，从而最大化满足创意和商业需求。 该作品的应用领域十分广泛，尤其在以下几个方面具有显著优势： 影视娱乐行业：虚拟角色生成技术可以帮助影视制作公司在减少制作成本的同时，加快后期处理的效率。虚拟偶像和虚拟演员可以大规模应用于广告、电影和电视节目中，提升视觉效果的同时，灵活应对演员时间或场景限制。 AI虚拟偶像和数字形象：通过AI生成技术，可以创造出逼真的虚拟人物，这些虚拟偶像能够被用于社交媒体、商业代言、直播互动等场景，具有极大的商业潜力。该项目生成的虚拟形象不仅在外观上非常逼真，还可以通过AI语音和动作捕捉技术，实现与真人相似的互动。 AI换装和虚拟时装：用户可以选择不同的服装风格和配饰，将生成的虚拟人物应用于时尚行业或电子商务平台，展示不同的服装搭配效果，为消费者提供个性化的购物体验。 AI换脸和特效制作：该程序能够通过换脸技术，将用户的面部特征无缝融入到虚拟角色中，并生成多样化的表情、动作。它不仅可以应用于个人娱乐，还可以为视频制作和广告宣传提供强大的技术支持。 通过对这些先进AI技术的灵活应用，本项目为用户提供了丰富的创作工具和无限的想象空间，极大地提升了虚拟形象生成的效率和精度。无论是影视娱乐行业的从业者、时尚设计师，还是普通用户，都能够从中获得创新的图像生成体验。

塔吊自动驾驶系统简介 一、面向对象与解决问题 塔吊自动驾驶系统主要服务于建筑施工行业，旨在解决高空作业风险、人工成本上升等问题。 二、东土科技系统特点 高度集成：集成智能控制器、实时控制等，实现自动驾驶。 精准规划：RTK定位，路径规划与AI算法进行检测避障，确保安全精准。 实时监控：监控塔吊状态与环境变化，预警并停机避免事故。 高效传输：先进通信技术保障数据传输与处理的高效性。 三、产品组成与技术选型 UI软件监测：3D仿真显示和2D的UI展示和提示，实时视频监控。 控制器：稳定的工业控制器。 操作系统：实时操作系统，稳定运行环境。 传感器：激光雷达与摄像头，地图构建和环境感知。 操作界面：手持器与移动端控制，发送指令并显示状态。

构建并使用Neo4j图数据库进行存储大规模交易数据（10GB）；对数据进行清洗，提取初始特征工程，划分不同时序的数据切片图；使用Pytorch搭建动态图卷积神经网络深度学习算法框架，将其建模为图分类任务进行识别庞氏骗局，数据分析以及可视化

1.数据收集与清理： 收集历史空气质量数据，识别并处理缺失值和异常值，确保数据质量。 2.特征工程： 提取和构建与空气质量相关的特征，包括气象条件、污染物浓度等，并进行特征选择和降维，以优化模型性能。 3.相关性分析： 探讨空气质量指标之间的相关性，识别主要影响因素，为模型提供科学依据。 4.模型开发与训练： 选择并训练适合的机器学习模型，使用交叉验证等方法调整参数，以提高预测准确性。 5.模型评估与优化： 对模型进行评估，使用指标如均方误差（MSE）和平均绝对误差（MAE）衡量模型性能，并根据结果进行优化。 6.预测与应用： 利用训练好的模型，对未来6小时的空气质量进行预测，并提供应用场景的建议，如污染预警系统等。

面向国内亿级短视频用户构建推荐系统，提升主站精排和海外APP的用户消费时长。 在特征工程的基础上，采用时长互动目标mmoe+长短期期兴趣序列sim架构，相比传统的DNN结构，提升效果明显。 搜推联动项目，结合搜索和推荐两大展位用户数据，优化不同场景下的时长。

通过图片预处理分析等方法对图片进行信息提取，设计、建立相关的数据模型，使用传统机器学习、卷积神经网络等方法对数据进行训练与凝血点的识别，使用数据可视化的方法对凝血的发展变化进行分析。

⚫ 开发了一个用于地震后建筑物的损坏等级的预测系统。通过搭建自编码器（Autoencoder，ANN），对数据中地理坐标数据进 行特征工程，提取并加强了地理特征。 ⚫ 基于集成方法构建并训练了由随机森林，XGBoost 和 LightGBM 构成的模型来做预测， 取得了最高F1-score 75.32%，位 列前30名。

大数据处理：每日处理上亿级别的日志，为后续机器学习或数据分析提供数据资料，保证后续分析平台的稳定正常运行。 大数据自动化业务流程 在指定的时间自动启动任务，确保按正确的顺序执行，提供一个图形化界面，实时监控每个任务的进展情况。

该软件专门用于对金属材料的数值型数据进行分析。通过主成分分析方法将数据进 行降维，利用支持向量机回归拟合出回归模型，使用遗传算法进行找到最优解。

项目主要目的为使用 人工智能技术对新闻进行分类，减少人力成本提高效率。 1. 模型主要分为以下5个步骤进行：数据爬取、数据选择与读取、数据摘要与清洗、模型选择、模型训练与评估、模型组合与预测效验。 2. 使用python及其相关科学库如：numpy、pandas等技术开发，选择的算法模型有：词袋模型BOW（Bag of Words）、词向量（Word Embedding）、神经网络，采用交叉验证的方式训练模型，来降低过拟合情况，最后对上述三个模型的结果组合加权平均。 3. 数据爬取主要使用Python requests库。 4. 使用Jieba中文分词库对中文进行分词处理，来完成数据选择与读取。 5. 独立完成TF-IDF算法对处理好的数据进行摘要与清洗。 6. 使用开源TestCNN和TestRNN模型对数据进行处理。

从零到一构建推荐系统，从1到10 的推荐效果优化，公司项目，效果不便展示 性格测试，通过大模型技术对测试进行解析和答疑解惑 作品微信小程序 《知吾》

1.身份证(正反)，驾驶证(正反)，营业执照，车辆登记册分类模型，证件关键信息多分类模型； 2.通过训练模型提取证件中关键信息，并将数据格式化；

实施了针对不同电梯信号类型的数据预处理，降噪，特征工程。 构建并优化了基于 CNN与 LSTM的 Autoencoder 无监督模型以及 LSTM与CNN结合的有监督模型，专门用于学习和检测异常信号。 参与了模型的网络架构优化、超参数调整、训练、测试，以及模型的压缩与加速过程。 难度在于正负样本极度不平衡，且容易过拟合产生误报

图像分割,使用上下采样构建模型,用三重损失指引模型梯度下降,用到的技术有cnn,残差网络,se模块,逐点卷积切换通道的技术,关键在于特征提取，牙齿属于精细化的输出,不是仅仅iou,dice高,能够看到分割的细节,彩色 图的分割，属于分割前景和背景,能够相当好的区分前景和背景

项⽬描述:病⼈通过本公司单导联进⾏⼼电图的测试并传到本公司指定app中进⾏⼼率变异性分析与房颤检测，使得病⼈可 以在家中提前进⾏有效筛查，提⾼病情筛查的时速性 项⽬职责： 1、通过keras搭建以RNN、CNN为基础的多个⾃定义神经⽹络进⾏R锋定位与房颤检测，⽹络中结合了ResNet、SEnet、 vgg等通⽤⽹络结构优点 2、将不同格式的数据通过，重采样、标准化等预处理进⾏统⼀，并通滤波去噪、滤波去基线进⾏数据预处理，然后通过裁 剪、移动起动等操作扩充数据集 3、将训练好的模型打包成sdk并部署到服务器中进⾏落地应⽤ 4、R点识别在mitdb公开数据集中的敏感性达到了99%以上。

1. 我主要负责使用情感分析技术量化客户的文本评论，借助统计学知识建立客户评分、客户评论和销售产量的关系模型，预测未来 时间段的销售产量。 2. 竞赛取得美国大学生数学建模二等奖