劳动法知识库检索助手
OpenXLab 体验地址:
劳动法知识库检索助手 模型下载地址:
- OpenXLab:
此仓库主要将 劳动法知识库助手项目 部署到 OpenXLab 上。
介绍
劳动法知识库助手是利用自然语言处理技术,对劳动法相关的法律文本进行分析,提取关键信息,构建知识库,实现劳动法相关问题的检索。它基于InternLM2进行 QLoRA 微调,同时结合 RAG 技术实现知识库的构建。
数据集
劳动法知识库助手 数据集采用路径data/
下的劳动法相关政策文件和案例文件作为数据集,使用createdb.py使用 Chroma 创建向量数据库,使用gendataset.py生成微调数据集。
微调
使用 Xtuner 进行微调,具体配置脚本可参考internlm2chat7bqloraoasst1e3copy.py,该文件在train
文件夹中,脚本内有详细的参数解释。
RAG
使用 RAG 技术构建知识库,通过LLM.py读取向量数据库,并接入 InternLM2 模型到 LangChain 中,构建检索问答链,实现劳动法知识库的检索。
Demo 展示
劳动法知识库助手的 Demo 展示可参考app.py文件,通过 Gradio 搭建 Web 服务,实现劳动法知识库的检索功能。
效果展示
实际的问答效果展示如下:
评论