如何向 ChatGPT 机器人提供自定义数据源?

Admin 2023-06-13 群英技术资讯 968 次浏览

今天小编跟大家讲解下有关“如何向 ChatGPT 机器人提供自定义数据源?”的内容 ,相信小伙伴们对这个话题应该有所关注吧,小编也收集到了相关资料,希望小伙伴们看了有所帮助。

一个有关如何向 ChatGPT 机器人提供自定义数据源的分步指南

ChatGPT 已成为大多数人每天用来自动化各种任务的不可或缺的工具。如果您使用过 ChatGPT,您会意识到它有可能提供错误的答案,并且在某些比较专业的主题上除了上下文中你告诉它的信息外它一无所知。这就提出了一个问题,即我们如何利用自定义的数据源来调教 ChatGPT,来让 ChatGPT 在特定领域有更好的表现?

丰富的知识分布在我们每天与之互动的各种平台上,例如工作中的 confluence wiki 页面、Slack 组、公司知识库、Reddit、Stack Overflow、书籍、时事通讯和同事共享的谷歌文档。阅读完所有这些信息源本身就堪称是一项全职工作了。

如果您可以有选择地选择数据源并将该信息轻松地与您的数据一起输入到 ChatGPT 对话中,那不是很好吗?

1. 通过Prompt提供数据

在我们开始讨论如何扩展 ChatGPT 之前,让我们看看如何手动扩展 ChatGPT 以及问题是什么。扩展 ChatGPT 的传统方法是通过Prompt。

这很简单,因为 ChatGPT 是上下文感知的。首先,我们需要通过在实际问题之前附加原始文档内容来与 ChatGPT 进行交互。

I will ask you questions based on the following content:Start of ContentYour very long text to give ChatGPT contextEnd of Content

这种方法的问题在于模型的上下文有限;它只能接受大约 4,097 个 GPT-3 Token。使用这种方法,您很快就会遇到困难,因为它也是一个手动,乏味的过程,每次都要粘贴内容。

想象一下,有数百个PDF文档想要注入到 ChatGPT 中,您很快就会遇到付费的问题。您可能会认为 GPT-4 替代 GPT-3 之后,情况会有所改善。它于 2023.3.14 刚刚推出,可以处理 25000 个单词——大约是 GPT-3 的八倍。它还可以处理图像,以及处理比 GPT-3.5 更细微的指令。这仍然存在相同的基本问题,即数据输入限制。我们如何绕过其中一些限制?我们可以利用一个名为LlamaIndex的Python库。

2. 使用 LlamaIndex 扩展 ChatGPT(GPT 索引)

LlamaIndex,也称为GPT索引,是一个提供中央接口的项目,用于将您的LLM与外部数据连接起来。是的,你没看错。使用LlamaIndex,我们可以构建如下图所示的东西:

输入 ChatGPT 的自定义数据源

LlamaIndex 将您现有的数据源和类型与可用的数据连接器连接起来,例如(API、PDF、文档、SQL 等)它使您能够通过提供结构化和非结构化数据的索引来使用 LLM。这些索引通过消除典型的样板和痛点来促进上下文学习:以可访问的方式保留上下文以便快速插入。

这样,LlamaIndex就解决了提示词的长度限制。并通过为用户提供一种与索引交互的方式来解决文本拆分问题。LlamaInde还抽象了从文档中提取相关部分并将其提供给Prompt的过程。

3、具体操作步骤及代码

具体操作步骤及代码,放在了“AI聊天机器人俱乐部”中的“聊天机器人接口开发”一章,欢迎小伙伴们参与AI聊天机器人俱乐部,并查看详情:《AI聊天机器人俱乐部开业,来一起探索与AI协作的新时代吧!


感谢各位的阅读,以上就是“如何向 ChatGPT 机器人提供自定义数据源?”的内容了,经过本文的学习后,相信大家对如何向 ChatGPT 机器人提供自定义数据源?都有更深刻的体会了吧。这里是群英网络,小编将为大家推送更多相关知识点的文章,欢迎关注!

群英智防CDN,智能加速解决方案

免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。

猜你喜欢

成为群英会员,开启智能安全云计算之旅

立即注册
专业资深工程师驻守
7X24小时快速响应
一站式无忧技术支持
免费备案服务
免费拨打  400-678-4567
免费拨打  400-678-4567 免费拨打 400-678-4567 或 0668-2555555
在线客服
微信公众号
返回顶部
返回顶部 返回顶部
在线客服
在线客服