By: Posted on

简介


话说，开源和闭源的战争已经持续了一段时间。


在 OpenAI 推出GPT-3后，但是随后变为闭源模型，不再开源。随后，一个称为 EleutherAI 的组织推出了一个名为 GPT-Neo 的开源替代方案，并提供了两者对比结果。


同样，当DALL·E 2发布时，Stability AI 发布了 DALL·E 2 的开源版本，名为Stable Diffusion。


我们都知道ChatGPT，以及很多人都非常渴望获得此模型的开源版本，希望能安全地构建具有更多控制权的应用程序。


目前，ChatGPT 为开发者提供了 API 访问与微调功能，但我们还要使用它的服务和机器来执行各样的任务。


2023 年 3 月 10 日，Together Computer 发布了名为OpenChatKit的 ChatGPT 开源版本。这种开源替代方案允许开发者更好地控制聊天机器人的行为，可根据自己的特定需求进行定制。


此外，更为广泛的用户能够更容易地访问，尤其是那些可能没有资源访问专有模型的用户与社区。


什么是 OpenChatKit


OpenChatKit，由前OpenAI研究员共同打造。它为开发者提供了一整套强大的开源工具，用来创建通用或专用的聊天机器人应用程序。它是其模型的第一个版本，社区开发人员已经发布了一套工具和流程，以及在社区用户的贡献帮助下改进模型。


OpenChatKit的归属单位叫做 Together。


这是一家去年7月才成立的创业公司，专门为AI行业做去中心化的云端服务。CEO是Vipul Ved Prakash，他曾在苹果做了5年高级总监，大家看他的发型比较整齐。 

CTO是Zhang Ce，似乎是华人。目前他担任苏黎世联邦理工学院电脑专业的助理教授。 

据Twitter上的Itamar Golan称，OpenChatKit的作者包含多位前OpenAI研究员。

Together Computer 在 Apache-2.0 许可证下发布 OpenChatKit 0.15，其中包含源代码、模型权重以及训练数据集。

它可以用简单的语言解释机器学习的概念，也可以回答测试者提出的第二个小问题。资讯提取也难不倒它，以上是将一大段计划型文字转换用表格表示。

开发者还可以在 Hugging Face: OpenChatKit上尝试基于模型的演示。它类似于 ChatGPT，可在其中编写提示，模型以答案、代码块、表格或文字响应。

OpenChatKit 附带基础机器人与构建模块，用于从基础创建定制的聊天机器人应用程序。

由以下 4 个组件组成：

  1. 指令调整的大型语言模型，针对 EleutherAI 的 GPT-NeoX-20B 的聊天进行了微调。

  2. 有关微调模型在特定任务上实现高精度的说明。

  3. 一个可扩展的检索系统，用于使用维基百科、新闻提要或体育比分中的知识更新机器人响应。

  4. 从 GPT-JT-6B 进行微调，以便审核和过滤出机器人响应的问题。



指令调整的大型语言模型

OpenChatKit 的基础是一个名为 GPT-NeoXT-Chat-Base-20B 的大型语言模型。

它基于 EleutherAI 的 GPT-NeoX 模型，并且是在 4300 万条高质量对话指令上进行的微调。开发团队特别专注于调整多项任务，例如多轮对话、问答、分类、提取与摘要等。

OpenChatKit 开箱即用的模型为开发者提供了强大的基础，它在 HELM 基准测试中的得分要高于其基础模型 GPT-NeoX。

GPT-NeoXT-Chat-Base-20B 模型在问答、提取和分类任务上表现的相当不错，有开发者称赞它的强大是可圈可点。

模型局限性


这是模型的第一个版本，人们会看到不少错误或不适当的答案。总结模型目前有一些缺陷的几个领域：


  • 基于知识：聊天机器人可能会给出与事实不符的结果。ChatGPT 也有同样的问题。该团队正在开发一个检索系统，该系统将更新有错误的信息。

  • 基于编码：该模型没有在足够大的源代码语料库上进行训练，无法编写准确的代码。

  • 上下文切换：如果在对话中开始谈论内容，聊天机器人不会自动切换话题，不能继续为用户提供与之前话题相关的答案。

  • 重复：聊天机器人有时会重复响应或卡住，需要刷新页面重置它。

  • 创意答案：与 ChatGPT 不同，聊天机器人不会生成文章或创意故事。它仅限于简短的响应。


小结


对于开发者，OpenChatKit 是一个非常好的开始。在社区帮助下，开发者们很快就能看到表现更优秀的聊天机器人版本。


但是如果想让 OpenChatKit 像 ChatGPT 一样强大，同样能够提供惊为天人的答案，开发者可能会感到失望。


它目前处于初期阶段，并且是在一个不是太多样化的数据集上训练的。


在本文中，我们共同了解了有关 ChatGPT 开源版本的内容，它对开发人员和  AI数据科学社区来说是个好消息。


此外人们还可进一步探索它的工作原理，并可深入研究工具包的四个组件，它们可以帮助创建一个完全可定制的聊天机器人，配备最新的新闻更新与内容审核等功能。


因为相当于ChatGPT的开源，就受到了开发者的欢迎。这不，GitHub它刚刚上线，就已经获得了2000多个星星。



有网友感叹 “事情进展得也太快了吧”，作者回应：“请绑好安全带，享受‘飙车’吧。”

参考资源：


以下为试用演示并阅读有关模型的详细信息，可以获取有关模型微调和其它工具之内容。


    https://huggingface.co/spaces/togethercomputer/OpenChatKit

    https://huggingface.co/togethercomputer/GPT-NeoXT-Chat-Base-

    https://github.com/togethercomputer/OpenChaT

    https://www.together.xyz/blog/openchatkit 


Keyword: Runway

Leave a Reply