Spark

1.项目具体功能模块（1）人脸识别与考勤模块：含人脸检测与跟踪（基于dlib，每10帧重检平衡性能）、人脸特征管理（导入图片提取特征并本地存储，支持覆盖同名人脸）、打卡考勤（识别注册人脸记录打卡，避免重复打卡，支持记录查询）子模块；（2）颜色检测模块：包含ROI区域控制（WASD移动、QE缩放）、颜

1.知识中心、概念配置、关系配置、多数据源抽取、图谱探索、知识图谱血缘可视化。2.知识融合，融合多源异构知识，通过策略优化提升知识的一致性、准确性和可用性；知识推理，利用逻辑推理技术挖掘知识间的潜在关联，增强系统的语义理解和智能决策能力。3.RAG知识智能问答，构建基于大语言模型（LLM）与知识图谱

登录注册：用户是系统操作者，该功能主要完成系统用户配置。智能分析（同步）：用户输入原始数据及分析诉求点击提交，同步调用大模型生成图表。智能分析（异步）：用户输入原始数据及分析诉求点击提交，采用自定义线程池方式执行任务。提高系统响应速度，优化用户体验。智能分析（MQ模式）：用户输入原始数据及分析诉求，

该项目是我司风控流程的最重要一环，公司所有贷款申请都会经过该系统进行自动审批，自动审批不通过才会打回人工重新审批。我司所有出钱的单子都会经过该系统，如果一旦有不该通过的单子被自动通过了，公司会损失很大，所以该项目责任重大，且经过我们严谨缜密的维护和测试，该系统目前没有一笔单子是审批错误的 我司贷款核心系统接收到贷款审批后，会请求该系统Athena进行模型预测，Athena接收请求并写入kafka异步处理和削峰，消费者消费数据并根据表中配置获取对应处理类去各个系统获取数据源(业务信息、贷款信息、三方征信数据等)，将数据推送kafka，SparkStreaming消费业务数据，加载多种PMML模型文件并生成对应的评估器Evalutor，并根据不同的数据源匹配对应PMML预测模型，对业务数据进行特征工程和模型评估，最终得到一个评估结果(自动通过\人工复审\自动拒绝)，并将结果写入Redis和MySQL，业务系统通过回调请求Athena获取预测结果来判定该笔申请是否自动通过、自动拒绝、人工复审 我负责的内容： 主导了整个架构、模块、交互设计、表结构设计 负责后端Web接口开发、SparkStreaming 模型加载、特征工程和模型预测模块开发 负责整个测试、uat、生产环境的应用部署，大数据集群环境搭建