自然语言处理

项目简介：基于 Langchain RAG 框架的自定义知识库对话系统 1. 功能模块及用户功能： 对话接口： 用户可以通过文本输入与系统进行自然语言对话。 系统能够理解用户的查询并返回相关信息。 知识库检索： 系统能够从事先构建好的知识库中检索相关内容，以支持对话中的信息提供。 用户反馈： 用户可以通过点击按钮提供对话结果的反馈，包括正确性、流畅性等方面的评价。 2. 我的任务、技术栈与成果： 任务： 搭建自定义知识库对话系统，提供高效、准确的信息查询服务。 技术栈： 使用 Langchain 提供的 RAG 框架作为对话系统的核心。 选择 Qwen-14B-Chat 作为基座模型，具有强大的对话生成能力和对话理解能力。 使用 Streamlit 框架重新设计前端界面，提供用户友好的交互体验。 成果： 成功搭建了一个自定义知识库对话系统，能够通过与用户交互，提供准确、丰富的信息支持。 引入了用户反馈功能，能够持续收集用户的评价数据，用于优化系统性能和调整知识库内容。 3. 难点与解决方案： 难点： 如何有效地组织和索引知识库中的内容，以便快速、准确地进行检索。 解决方案： 使用

一）研究目的 本项目实现一款基于wechaty的多功能服务机器人，制作一个校园官方的“朋友圈”，学生可以通过微信平台，以自然语言对话的方式简便快速地完成校内日常事务及活动发布推广；也可以通过与智能机器人对话方式获取如图像处理等趣味功能，丰富校园生活并且提升学校形象。 （二）研究内容 大学生在校园中常常有丢失物品的情况，通常会通过校园墙等渠道大海捞针式的寻找，耗时费力。如果能够借助wechaty，拾到失物者通过向微信服务机器人发送失物照片，借助AI技术对失物进行识别，即可快速匹配联系到失主。 学校管理中有大量的规章制度．例如学生竞赛、项目报销、最新防疫政策、毕业设计相关流程和要求等。师生们通常遇到问题是不知道去哪里查找对应的政策，甚至不知道该找谁询问，导致在流程上耗费了大量的时间和精力。如果能够有一个智能且友好的接入服务，针对提出的疑问自动答复，将会有力提高校园运转效率。 互联网时代传统学校招生方式也越来越不受年轻人喜欢。如何提供一种更有亲和力，更有趣的方式吸引年轻人的注意，介绍并且推广学校是一个非常需要考虑的问题。通过微信接口，可以给大众以问答的形式，实时回答各种关于至诚学院的问题

使用flask实现的web应用，对文章进行分词（jieba），生成按级分词结果。可按词表实现不同等级的分词处理，有匹配分析、过滤分析等不同功能。

使用olllama加载本机模型，创建建modelfile对模型进行提示词构建，使用ngrok对ollama服务器进行反向代理进行公网访问

这是简单的一个控制台输出的系统 模拟 增删改查系统 里面实现了签到 和 签退的功能 和查询的功能 虽没有页面但功能都已实现

项目简介：基于微调语义理解模型的客户与客服关键事件抽取系统 背景： 在现代企业中，客户服务是维护客户关系和提升客户满意度的重要环节。为了更好地理解客户与客服之间的对话，并从中提取关键事件和信息，我们开展了这个项目。通过微调语义理解模型，我们旨在构建一个能够自动抽取客户与客服对话中的关键事件的系统，从而帮助企业更好地理解客户需求、改进服务质量。 目标： 我们的目标是建立一个自动化的客户与客服关键事件抽取系统，能够准确地识别对话中的重要事件和信息。通过这个系统，企业可以更好地了解客户的需求和问题，并及时采取措施加以解决，提升客户满意度和忠诚度。 技术细节： 模型微调：我们通过使用私有的客户与客服对话数据，对预训练的语义理解模型（如BERT、Roberta等）进行微调。这样可以使模型更好地适应特定领域的语境和词汇，提高对话理解的准确性。 关键事件抽取：我们设计了一套算法和模型，用于从微调后的语义理解模型的输出中抽取关键事件。这些事件可以包括客户提出的问题、客服的回答、客户的反馈等。 系统集成：我们将关键事件抽取系统集成到客户服务平台中，使其能够实时处理客户与客服之间的对话。这样客服人员可

数据的预处理及医疗实体抽取模型的构建 负责三元组信息抽取模型的构建 负责知识图谱数据的存储、可视化以及文档的撰写

预训练大预言模型微调，使用peft库,用lora方法，使用alpaca_data_zh数据集，微调bloom-1b4-zh模型，主要分为数据处理、高效微调、模型合并等几个步骤，重点关注loss情况

1.后台管理系统开发，实现了客户对设备的全部设置、管理等功能。并在运维端可对客户的后台系统进行管理等功能。 2.公司之有我一个前端开发人员，前端的所有开发均由我一人开发。

AI作品的特点主要表现在以下几个方面： 高效性：AI作品能够快速地生成和处理大量数据，大大提升了创作效率。例如，在绘画和摄影领域，AI可以通过机器学习和深度学习算法，模仿和学习人类艺术家的创作风格和技术，自动生成图像或修复图像中的缺陷。这使得艺术家可以将更多时间用于创意构思和细节打磨，而不是长时间的绘制或修复过程。 创新性：AI作品在创新性方面表现出色。AI能够分析和学习大量的数据，从中提取出模式和趋势，从而产生新颖和独特的创意。在工业设计、建筑设计、服装设计等领域，AI可以模拟和优化设计过程，帮助设计师快速生成多种设计方案，提供创新性的灵感。 可调整性和可扩展性：AI作品具有高度的可调整性和可扩展性。根据不同的需求，可以调整AI的参数和模型，以适应不同的应用场景。同时，AI作品也可以进行扩展，以包含更多的数据和功能，从而进一步提高其性能和效果。 自动化和智能化：AI作品具有自动化和智能化的特点。例如，在摄影创作中，AI可以自动识别图像中的元素和主题，并进行分类和整理，大大减轻了人工劳动强度。在绘画中，AI可以通过自学深度学习，对图像进行判断并进行绘制，创造出大量独特的图形。 然而，

1.支持多个大模型同时服务，图像生成/文本生成/视频 等全域开源大模型; 2.支持910b/tpu/cpu/gpu部署，支持单卡和多卡混合部署，并发支持; 3.demo使用了3种大模型, 2层级分支处理逻辑, 实现了订腾讯会议、代码解释生成、图片生成和处理一般问题； 4.深度支持RAG，检索增强生成，层次化知识存储；demo支持上传文档，体验专属个人助手(用完即删不会存档,txt或md文件)； 5.全套代码独有，支持前后端定制，支持大模型预训练/指令微调 等微调工作； 6.给出和现有系统混合协作的解决方案；

TrendFlow 是一款强大的 web app 工具，它具备一项令人惊叹的功能。用户只需输入关键词，TrendFlow 便会迅速在各大论文平台上展开搜索，犹如一位敏锐的研究员，精确地筛选出与之相关的论文。然而，它的能力并非仅仅止于搜索，TrendFlow 还会对这些论文进行深入总结，提取出关键信息，就像是一位智慧的学者，将复杂的知识转化为简洁明了的精华。有了 TrendFlow，用户可以轻松获取所需论文的核心要点，大大提高了研究效率。

一个简单的闲聊机器人，基于transformer堆叠而成的模型，tokenizer取自hugging face网站的DIalogGPT的tokenizer（因为自己弄实在太麻烦），语料用的是小黄鸡的语料。

AI数字人项目旨在通过人工智能技术，构建出高度逼真、具有交互能力的虚拟人物形象。这些数字人不仅具备生动的外观和动作，还能通过自然语言处理、语音合成、面部表情识别等技术，与用户进行实时互动和交流。该项目结合了计算机视觉、深度学习、自然语言处理等多个领域的先进技术，致力于为用户提供一种全新的、沉浸式的交互体验。 模块组成： 人物形象模块：负责创建数字人的外观和形象，包括面部特征、发型、服装等。通过多边形建模、细节雕刻等技术，使数字人具有逼真的外观和细腻的表情。 语音生成模块：基于文本生成对应的人物语音，使数字人能够说话和表达。该模块利用语音合成技术，将文本转化为自然流畅的语音输出。 动画生成模块：根据数字人的动作和表情需求，生成与之相匹配的动画效果。通过运动捕捉、骨骼绑定等技术，实现数字人的自然动作和表情变化。 音视频合成显示模块：将语音和动画合成视频，并通过显示设备呈现给用户。该模块负责处理音视频信号的同步和渲染，确保用户能够获得高质量的视听体验。 交互模块：通过语音语义识别、自然语言处理等智能技术，识别用户的意图和问题，并驱动数字人进行相应的语音和动作回应。该模块还支持多模

这是一个类似于 ChatGPT 的 Web chatbot，它的独特之处在于能够将对话内容以知识图谱的形式保存到服务器上，从而实现永久记忆的功能。相比之下，它不仅仅是一个简单的聊天工具，更是一个能够记录和积累知识的智能伙伴。通过这种方式，每次对话都成为了知识的积累，形成了一个不断扩展和丰富的知识体系。这使得它在长期使用中能够更好地理解用户的需求和问题，提供更加准确和有用的回答。它的永久记忆能力使其成为一个不断学习和成长的智能助手，为用户提供更优质的服务和支持。

使用CLIP预训练模型进行跨模态检索，Flask框架搭建web服务，可对检索数据库进行管理、留言，并对模型进行微调，实现跨模态数据检索。

这是一个类似foxmail之类的邮件管理工具，但它是在服务器运行，并同时支持大量邮箱的。 我个人在里面负责所有的后端功能。 功能需求： - 像foxmail之类的邮件管理工具那样添加邮箱信息，并读取邮箱里面的邮件和下载附件。 - 需要大批量读取邮件，并定时轮询各邮箱。 - 将读取到的简历文件，解析出来，再将解析结果通知给各客户的接口。 - 需要保证系统的高可用、出错重试、调用日志查询、及时读取各邮箱等。 - 需要支持几乎所有邮箱类型。 - 需要支持目前的3种邮箱读取协议：IMAP、POP3、EXCHANGE。

PEER是一个由德国慕尼黑工业大学开发的教育项目，旨在利用LLM（大语言模型）等最先进的NLP（自然语言处理）技术，帮助德国中小学生改进和优化他们的论文。

算法实现基于文本内容的自动匹配： 1、数据预处理，微调中文文本向量化模型和语义分割模型，实现将文本内容转化为向量； 2、构建相似向量库； 3、分析数据特征，构造匹配算法。

这是一个简历文件解析的平台，我在里面负责开发“解析文件解析”功能，负责简历解析器的日常维护，修复疑难简历的解析问题。 也参与部分开发其它功能，如职位管理、快搜、上传简历、人才库等等。 个人在里面碰到的技术难点有： 简历文件很多，却要求快速、高并发的解析效果。 每人的简历格式不同，不少个性化的简历写法，尤其设计师以图片作品为主的简历，但要求精准解析出简历的所有内容，如姓名等基本信息、工作经历、教育经历等。 采用大量正则表达式来匹配内容，并需要训练大量的基础数据来匹配内容，如公司名、学校名、项目名等。