如何向 ChatGPT 机器人提供自定义数据源?
Admin 2023-06-13 群英技术资讯 968 次浏览
一个有关如何向 ChatGPT 机器人提供自定义数据源的分步指南
ChatGPT 已成为大多数人每天用来自动化各种任务的不可或缺的工具。如果您使用过 ChatGPT,您会意识到它有可能提供错误的答案,并且在某些比较专业的主题上除了上下文中你告诉它的信息外它一无所知。这就提出了一个问题,即我们如何利用自定义的数据源来调教 ChatGPT,来让 ChatGPT 在特定领域有更好的表现?
丰富的知识分布在我们每天与之互动的各种平台上,例如工作中的 confluence wiki 页面、Slack 组、公司知识库、Reddit、Stack Overflow、书籍、时事通讯和同事共享的谷歌文档。阅读完所有这些信息源本身就堪称是一项全职工作了。
如果您可以有选择地选择数据源并将该信息轻松地与您的数据一起输入到 ChatGPT 对话中,那不是很好吗?
在我们开始讨论如何扩展 ChatGPT 之前,让我们看看如何手动扩展 ChatGPT 以及问题是什么。扩展 ChatGPT 的传统方法是通过Prompt。
这很简单,因为 ChatGPT 是上下文感知的。首先,我们需要通过在实际问题之前附加原始文档内容来与 ChatGPT 进行交互。
I will ask you questions based on the following content:– Start of Content–Your very long text to give ChatGPT context– End of Content–
这种方法的问题在于模型的上下文有限;它只能接受大约 4,097 个 GPT-3 Token。使用这种方法,您很快就会遇到困难,因为它也是一个手动,乏味的过程,每次都要粘贴内容。
想象一下,有数百个PDF文档想要注入到 ChatGPT 中,您很快就会遇到付费的问题。您可能会认为 GPT-4 替代 GPT-3 之后,情况会有所改善。它于 2023.3.14 刚刚推出,可以处理 25000 个单词——大约是 GPT-3 的八倍。它还可以处理图像,以及处理比 GPT-3.5 更细微的指令。这仍然存在相同的基本问题,即数据输入限制。我们如何绕过其中一些限制?我们可以利用一个名为LlamaIndex的Python库。
LlamaIndex,也称为GPT索引,是一个提供中央接口的项目,用于将您的LLM与外部数据连接起来。是的,你没看错。使用LlamaIndex,我们可以构建如下图所示的东西:
输入 ChatGPT 的自定义数据源
LlamaIndex 将您现有的数据源和类型与可用的数据连接器连接起来,例如(API、PDF、文档、SQL 等)它使您能够通过提供结构化和非结构化数据的索引来使用 LLM。这些索引通过消除典型的样板和痛点来促进上下文学习:以可访问的方式保留上下文以便快速插入。
这样,LlamaIndex就解决了提示词的长度限制。并通过为用户提供一种与索引交互的方式来解决文本拆分问题。LlamaInde还抽象了从文档中提取相关部分并将其提供给Prompt的过程。
3、具体操作步骤及代码
具体操作步骤及代码,放在了“AI聊天机器人俱乐部”中的“聊天机器人接口开发”一章,欢迎小伙伴们参与AI聊天机器人俱乐部,并查看详情:《AI聊天机器人俱乐部开业,来一起探索与AI协作的新时代吧!
感谢各位的阅读,以上就是“如何向 ChatGPT 机器人提供自定义数据源?”的内容了,经过本文的学习后,相信大家对如何向 ChatGPT 机器人提供自定义数据源?都有更深刻的体会了吧。这里是群英网络,小编将为大家推送更多相关知识点的文章,欢迎关注!
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
猜你喜欢
AIGC风潮下修图App出路在哪?PhotoRoom示范如何月流水大涨破千万
谷歌内部文件泄露:大模型已被开源社区「偷家」,不改变ChatGPT也会黯然失色
ChatGPT拉动AI服务器需求提升!多相电源:高性能计算供电解决方案
20+大咖激辩中国AIGC产业!现场人挤人,超200万在线网友:「有必要完整再看一遍」
小米否认“华为余承东将赴小米汽车任职”;李子柒停更一年油管每月仍有78万广告收入;中国电科回应“员工痛批强制加班”丨邦早报
成为群英会员,开启智能安全云计算之旅
立即注册Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2020 群英 版权所有
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号 域名注册商资质 粤 D3.1-20240008