MidPet（Pet：Parameter-EfficietTuig）是属于Midspore领域的微调算法套件。随着计算算力不断增加，大模型无限的潜力也被挖掘出来。但随之在应用和训练上带来了巨大的花销，导致商业落地困难。因此，出现一种新的参数高效（parameter-efficiet）算法，与标准的全参数微调相比，这些算法仅需要微调小部分参数，可以大大降低计算和存储成本，同时可媲美全参微调的性能。
微调算法API目前MidPet已提供以下五种经典低参微调算法以及一种提升精度的微调算法的API接口，用户可快速适配原始大模型，提升下游任务微调性能和精度；微调算法算法论文使用说明LoRALoRA:Low-RakAdaptatioofLargeLaguageModelsTK_DeltaAlgorithm_README 第一章PrefixTuigPrefix-Tuig:OptimizigCotiuousPromptsforGeeratioTK_DeltaAlgorithm_README 第二章AdapterParameter-EfficietTrasferLearigforNLPTK_DeltaAlgorithm_README 第三章LowRakAdapterCompacter:Efficietlow-rakhypercomplexadapterlayersTK_DeltaAlgorithm_README 第四章BitFitBitFit:SimpleParameter-efficietFie-tuigforTrasformer-basedMaskedLaguage-modelsTK_DeltaAlgorithm_README 第五章R_DropR-Drop:RegularizedDropoutforNeuralNetworksTK_DeltaAlgorithm_README 第六章共性图操作API冻结指定模块功能APIMidPet支持用户根据微调算法或模块名冻结网络中部分模块，提供调用接口和配置文件两种实现方式。使用说明参考TK_GraphOperatio_README 第一章。保存可训练参数功能APIMidPet支持用户单独保存训练中可更新的参数为ckpt文件，从而节省存储所用的物理资源。使用说明参考TK_GraphOperatio_README 第二章。
点击空白处退出提示
评论