NLP

●项目介绍：本项目设计并实现了一个从单张人脸图像预测BMI的端到端系统。我们自行爬取数据并制作数据集，设计并实现了一个轻量级CNN。最终，模型在独立测试集上取得了4.39的平均绝对误差（MAE），并使用Flask框架将其封装成一个可交互的Web应用，完整实现了从数据获取、模型训练到服务部署的全流程。

项目技术：数据增强（镜像反转、左右各旋转30度、增加噪点、MSRCR处理光线）、迁移学习、ReduceLROnPlateau缩小学习率、Xception/InceptionResNet-V2特征融合 项目成果：从Kaggle中获取999条数据，采用迁移学习及微调模型比较多个深度学习模型的准确率后，得到Xception模型最高仅为95.6%，对模型进行特征融合，模型准确率提升至98.4%

项目技术：随机森林、LSTM、SVR 项目成果：总计1825条数据20个特征，构建了4个新特征总计24个特征，绘制饼状图、箱形图等对特征选择并比较不同特征效果，随机森林、SVR采用R2、MAE、MSE评估指标，LSTM采用MAE、MSE评估指标，比较两个模型的结果后，最终采用LSTM模型，MAE与MSE分别为0.01416，0.0026

项目内容：使用k-prototypes聚类方法对好大夫在线网站获取的医生数据进行分析，构建用户画像分析互联网医疗行业的分级诊疗情况。 项目技术：Scrapy爬虫、SWOT分析、哈工大LTP分词、K-prototypes聚类、PCA/t-sne降维可视化、构建用户画像、文献调研 项目成果：根据2952447条数据29个特征建立模型，识别8类核心用户群体，为互联网+医疗促进分级诊疗制度的实施提供数据支持

1. 软件面向的行业和业务场景 本软件主要面向法律、投诉处理和文本分类领域，适用于需要对大量文本数据进行自动分类和处理的企业或机构。具体业务场景包括： 投诉分类：对客户投诉内容进行自动分类，识别投诉类型（如商品质量、服务态度等），以便后续处理。 法律文本分析：对法律相关文档进行语义理解和分类，辅助法律工作者快速定位关键信息。 NER（命名实体识别）：从文本中提取关键实体（如产品名称、公司名称等），用于进一步的数据分析或知识图谱构建。 2. 项目功能模块及使用者功能 项目分为多个功能模块，每个模块对应特定的功能需求： 数据预处理模块： 功能：清洗、分词、去停用词、生成训练数据集。 使用者功能：提供干净、结构化的数据以供模型训练。 特征工程模块： 功能：将文本转换为数值特征（如词向量、TF-IDF 等）。 使用者功能：通过特征提取提升模型性能。 模型训练模块： 功能：支持多种深度学习模型（如 LSTM、GRU、CNN 和 Transformer）的训练。 使用者功能：根据业务需求选择合适的模型进行训练，并优化超参数。 模型评估模块： 功能：使用交叉验证、混淆矩阵、F1 分数等指标评估模型性能。 使用者功能：监控模型表现，调整模型以提高准确率。 预测模块： 功能：加载训练好的模型，对新输入的文本进行分类预测。 使用者功能：实时获取文本分类结果，辅助决策。 资源监控模块： 功能：监控系统资源（如 CPU、内存）和模型训练过程中的性能指标。 使用者功能：确保模型在有限资源下高效运行。 部署与应用模块： 功能：将模型封装为 RESTful API 或微服务，便于集成到现有系统中。 使用者功能：通过接口调用模型服务，实现自动化文本分类。 3. 项目的技术选型和架构特点 技术选型： 编程语言：Java 和 Python。 深度学习框架： Java：使用 Deeplearning4j 实现 LSTM、GRU 和 CNN 模型。 Python：使用 PyTorch 和 Hugging Face 的 Transformers 库实现 BERT 等 Transformer 模型。 依赖管理：Python 使用 pip-tools 管理依赖，Java 使用 Maven 进行依赖管理。 监控工具：TensorBoard 和 MLflow 用于模型训练监控，psutil 用于系统资源监控。 架构特点： 多语言协作：Java 主要负责模型训练和部署，Python 侧重于数据预处理和高级模型（如 BERT）的训练。 模块化设计：各功能模块独立开发，便于维护和扩展。 分布式部署：支持 Docker 容器化部署，便于在云端或本地环境中运行。 高性能计算：支持 GPU 加速（如 CUDA），提升模型训练和推理效率。 该软件通过结合 Java 和 Python 的优势，提供了从数据预处理到模型部署的完整解决方案，适用于需要高效、精准文本分类的业务场景。

使用langchain开发大模型，调用api或本地部署大模型，补充外部知识库搭建rag，基于训练好的大模型进行二次开发应用，或本地部署大模型进行微调。

作为创业公司CTO, 在基于openAI技术的基础上，从头搭建了一个自然语言理解平台。 该系统能够克服现有大语言模型的幻觉的重大缺陷，也能够克服现有deep learning难以修正错误的重大缺陷。 该系统已投入使用。

项目简介：基于NLP和机器学习技术的客户支持系统优化 背景： 在现代企业中，建立高效的客户支持系统对于维护客户满意度和提升市场竞争力至关重要。然而，随着客户数量的增长和问题的复杂性，传统的客户支持方式已经无法满足企业的需求。因此，我们开展了这个项目，旨在利用自然语言处理（NLP）和机器学习技术，构建一个更高效、更智能的客户支持系统。 目标： 我们的目标是通过NLP和机器学习技术对客户提出的问题进行自动分类和聚类，从而实现更高效的客户支持系统。具体目标包括： 问题自动分类：自动将客户提出的问题归类到不同的类别中，以便更好地组织和处理。 问题相似性分析：分析客户提出的问题之间的相似性，从而能够更快地找到解决方案。 即时响应：建立一个实时响应系统，能够在客户提出问题后立即给予反馈和解决方案。 客户反馈：收集客户的反馈数据，用于不断优化系统性能和改进服务质量。 技术细节： 文本预处理：对客户提出的问题进行文本预处理，包括分词、去除停用词、词干化等，以准备进行特征工程和模型训练。 特征工程：提取客户问题的特征，如词袋模型、TF-IDF向量等，以便输入到机器学习模型中进行分类和聚类。 聚类和分类模型：使用机器学习算法，如K-means聚类、朴素贝叶斯分类器等，对客户问题进行分类和聚类。 实时响应系统集成：将分类和聚类模型集成到实时响应系统中，使得客户提出的问题能够得到及时响应和解决。 成果与展望： 通过我们的努力，我们期望实现以下成果： 提高客户满意度：通过快速响应和解决客户问题，提升客户满意度和忠诚度。 提高效率：实现自动分类和聚类，减少人工干预，提高工作效率。 解决持久性问题：通过分析问题相似性，寻找解决方案并避免重复工作。 数据驱动决策：收集客户反馈数据，为企业提供数据支持，优化决策和服务策略。 这个项目将为企业建立更强大的客户支持体系，提供更好的客户体验，同时提高市场竞争力。

作品地址：http://www.latexai.com/ 分为渲染、识别、生成模块，均由本人完成 渲染模块功能为，帮助大家写latex表达式，并渲染出来，可导出png\svg\word格式的公式表示。 同时支持有限的AI公式识别转换为latex表达式，可选输出可视化的模型内部的attention部分

众所周知，深度神经网络在自然语言处理中常常面临各种类型的对抗攻击，尤其是针对单词级别的攻击。 近年来，研究者们针对词级攻击提出了多种防御策略，但大部分策略主要关注同义词替换这一类型的攻击。然而，词级攻击并不局限于同义词替换。 为了更全面地应对词级对抗攻击，本文提出了一种基于语义联想场的文本嵌入方法。 具体而言，我们首先分析了人类能够识别并理解经过扰动的文本对抗样本的关键原因，发现两个关键点： 1）原始单词与被扰动的单词之间存在一定的语义联系； 2）这种联系使得人类能够通过联想推断出原始单词。 基于以上观察，我们引入了语义联想场的概念，并提出了一种新的防御方法。该方法通过构建一个鲁棒的词嵌入空间来计算词向量。 具体来说，我们将相关的词向量与势函数和加权嵌入采样相结合，以模拟同一语义场中词之间的语义影响。 本文进行了全面的实验，验证了所提出的方法在各种对抗性攻击和原始测试集下，相较于基线防御方法具有更高的精度。 此外，该方法具有通用性，与模型结构无关，且几乎不影响训练效率。

1. 通过AI和nlp技术进行算法-数据层面的挖掘，从而客户一个企业所处的业务领域和拥有的技术。 2. 数据挖掘完成后，在前端产品进行展示，并形成可以导出的线下报告。

房型匹配是指将供应商房型匹配到京东房型，在C端商品页面聚合展示，方便用户筛选过滤，提高用户体验及订单转化率，房型匹配优化工是指提高房型的匹配率。使用了机器学习，nlp 技术等，先对文本做分词，降噪等。然后由数据训练模型，最后结合业务逻辑并由模型进行数据匹配。城市匹配率由85%提高到接近100%，酒店匹配率由70提高到85%，房型匹配率由60%提高到80%。项目获得优秀创新项目奖。

使用MATLAB开发的基于支持向量机的肿瘤细胞检测模型，只需要少量的输入数据，就能得到90%以上的正确率。 程序运行非常快。可以辅助医生做癌症的初筛，帮助医生提高效率。