简介
话说,开源和闭源的战争已经持续了一段时间。
在 OpenAI 推出GPT-3后,但是随后变为闭源模型,不再开源。随后,一个称为 EleutherAI 的组织推出了一个名为 GPT-Neo 的开源替代方案,并提供了两者对比结果。
同样,当DALL·E 2发布时,Stability AI 发布了 DALL·E 2 的开源版本,名为Stable Diffusion。
我们都知道ChatGPT,以及很多人都非常渴望获得此模型的开源版本,希望能安全地构建具有更多控制权的应用程序。
目前,ChatGPT 为开发者提供了 API 访问与微调功能,但我们还要使用它的服务和机器来执行各样的任务。
2023 年 3 月 10 日,Together Computer 发布了名为OpenChatKit的 ChatGPT 开源版本。这种开源替代方案允许开发者更好地控制聊天机器人的行为,可根据自己的特定需求进行定制。
此外,更为广泛的用户能够更容易地访问,尤其是那些可能没有资源访问专有模型的用户与社区。
什么是 OpenChatKit
OpenChatKit,由前OpenAI研究员共同打造。它为开发者提供了一整套强大的开源工具,用来创建通用或专用的聊天机器人应用程序。它是其模型的第一个版本,社区开发人员已经发布了一套工具和流程,以及在社区用户的贡献帮助下改进模型。
OpenChatKit的归属单位叫做 Together。
这是一家去年7月才成立的创业公司,专门为AI行业做去中心化的云端服务。CEO是Vipul Ved Prakash,他曾在苹果做了5年高级总监,大家看他的发型比较整齐。
CTO是Zhang Ce,似乎是华人。目前他担任苏黎世联邦理工学院电脑专业的助理教授。
据Twitter上的Itamar Golan称,OpenChatKit的作者包含多位前OpenAI研究员。
Together Computer 在 Apache-2.0 许可证下发布 OpenChatKit 0.15,其中包含源代码、模型权重以及训练数据集。
它可以用简单的语言解释机器学习的概念,也可以回答测试者提出的第二个小问题。资讯提取也难不倒它,以上是将一大段计划型文字转换用表格表示。
开发者还可以在 Hugging Face: OpenChatKit上尝试基于模型的演示。它类似于 ChatGPT,可在其中编写提示,模型以答案、代码块、表格或文字响应。
OpenChatKit 附带基础机器人与构建模块,用于从基础创建定制的聊天机器人应用程序。
由以下 4 个组件组成:
-
指令调整的大型语言模型,针对 EleutherAI 的 GPT-NeoX-20B 的聊天进行了微调。
-
有关微调模型在特定任务上实现高精度的说明。
-
一个可扩展的检索系统,用于使用维基百科、新闻提要或体育比分中的知识更新机器人响应。
-
从 GPT-JT-6B 进行微调,以便审核和过滤出机器人响应的问题。
指令调整的大型语言模型
OpenChatKit 的基础是一个名为 GPT-NeoXT-Chat-Base-20B 的大型语言模型。
它基于 EleutherAI 的 GPT-NeoX 模型,并且是在 4300 万条高质量对话指令上进行的微调。开发团队特别专注于调整多项任务,例如多轮对话、问答、分类、提取与摘要等。
OpenChatKit 开箱即用的模型为开发者提供了强大的基础,它在 HELM 基准测试中的得分要高于其基础模型 GPT-NeoX。
GPT-NeoXT-Chat-Base-20B 模型在问答、提取和分类任务上表现的相当不错,有开发者称赞它的强大是可圈可点。
模型局限性
这是模型的第一个版本,人们会看到不少错误或不适当的答案。总结模型目前有一些缺陷的几个领域:
-
基于知识:聊天机器人可能会给出与事实不符的结果。ChatGPT 也有同样的问题。该团队正在开发一个检索系统,该系统将更新有错误的信息。
-
基于编码:该模型没有在足够大的源代码语料库上进行训练,无法编写准确的代码。
-
上下文切换:如果在对话中开始谈论内容,聊天机器人不会自动切换话题,不能继续为用户提供与之前话题相关的答案。
-
重复:聊天机器人有时会重复响应或卡住,需要刷新页面重置它。
-
创意答案:与 ChatGPT 不同,聊天机器人不会生成文章或创意故事。它仅限于简短的响应。
小结
对于开发者,OpenChatKit 是一个非常好的开始。在社区帮助下,开发者们很快就能看到表现更优秀的聊天机器人版本。
但是如果想让 OpenChatKit 像 ChatGPT 一样强大,同样能够提供惊为天人的答案,开发者可能会感到失望。
它目前处于初期阶段,并且是在一个不是太多样化的数据集上训练的。
在本文中,我们共同了解了有关 ChatGPT 开源版本的内容,它对开发人员和 AI数据科学社区来说是个好消息。
此外人们还可进一步探索它的工作原理,并可深入研究工具包的四个组件,它们可以帮助创建一个完全可定制的聊天机器人,配备最新的新闻更新与内容审核等功能。
因为相当于ChatGPT的开源,就受到了开发者的欢迎。这不,GitHub它刚刚上线,就已经获得了2000多个星星。
有网友感叹 “事情进展得也太快了吧”,作者回应:“请绑好安全带,享受‘飙车’吧。”
参考资源:
以下为试用演示并阅读有关模型的详细信息,可以获取有关模型微调和其它工具之内容。
https://huggingface.co/spaces/togethercomputer/OpenChatKit
https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-
https://github.com/togethercomputer/OpenChaT
https://www.together.xyz/blog/openchatkit
Keyword: Runway