加州大学伯克利分校推出 MemGPT,解决大模型输入限制
据品玩 10 月 16 日报道,Arxiv 页面显示,加州大学伯克利分校的研究者们推出了一款名为 MemGPT 的大语言模型系统。该研究团队通过借鉴传统操作系统中的层次内存系统,提出虚拟上下文管理技术,通过在快速和慢速内存之间移动数据,提供大内存资源的外观。MemGPT 系统智能地管理不同的内存层次,以在 LLM 的有限上下文窗口内有效提供扩展上下文,并利用中断来管理自身与用户之间的控制流。
实验显示,MemGPT 在多会话聊天和文档分析实验中表现出良好的性能,有效克服了现有方法在有限上下文中性能的限制。