简介

什么是KnowLM

KnowLM项目
KnowLM是一个知识增强的开源语言大模型框架, 旨在通过提供灵活且可定制的工具集和并发布相应的模型, 帮助研究人员和开发者更好地处理大模型知识更新和谬误等问题。

KnowLM 的技术、功能和内容如下:

  • 知识提示
  • 知识编辑
  • 知识交互
更多

知识提示.

KnowPrompt.

KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction.  WWW2022.

“基于知识的提示学习” 旨在通过“知识作为提示”, 将特定领域和任务相关的知识(如知识图谱和文本样例)融入到预训练模型中, 以提升其对特定领域和任务的理解能力。这种方法旨在充分发挥预训练模型的潜力,并显著提高其性能。

更多

知识编辑.

EasyEdit.

Editing Large Language Models: Problems, Methods, and Opportunities. EMNLP2023.

“模型编辑” 旨在在不影响模型对其他样本的行为的情况下, 高效地调整初始基础模型对特定编辑描述符的行为。

模型编辑与以下主题密切相关: 对大型语言模型进行更新和修复错误,定位大型语言模型中的知识以及终身学习和遗忘。

更多

知识交互.

KnowAgent.

KnowAgent: Knowledge-Augmented Planning for LLM-Based Agents.

“知识交互” 指的是模型与人类、环境、工具或其他模型之间的动态知识交流和反馈。同时,它对于实现复杂的规划能力、提升智能体的智能水平以及引导大型语言模型展现认知能力而言,都是至关重要的环节。

更多

训练LLM的技术

全面的预训练代码(提供大规模语料库的转换、构建和加载)以及LoRA指令微调代码(支持多机多GPU)。同时提供知识提示、编辑和交互的示例(仍在开发中)。

Github

资源

KnowLM库

KnowLM模型库

    我们目前已经开源了 ZhiXi-13B 的基础模型和抽取模型, 包括即将发布的基于LLaMA2的 KnowLM-7B模型。当然,未来也有可能会有65B或者参数量更大的模型。

作品集

支持的大型语言模型

采用KnowLM技术的相关大型语言模型

  • 所有

致谢

衷心感谢

我们向Langchain、Transformers、FastEditROMEGRACEMELOPMET以及Self-Instruct等团队表示最诚挚的感谢。我们在项目中集成了他们的部分源代码,对此我们深表谢意。 此外,我们对来自社区的持续支持表示感激。特别感谢那些报告问题并慷慨分享技术知识的社区成员。你们的努力对我们项目的进步起到了至关重要的作用。🙌