ChatGPT火了,一大批开源平替也来了
ChatGPT 凭一己之力让全球为 AI 沸腾,引发了科技巨头之间的聊天机器人军备竞赛。
众所周知,ChatGPT 的背后技术是 GPT(Generative Pre-trained Transformer)模型。GPT 是一种基于 Transformer 模型的自然语言处理模型,由 OpenAI 公司开发。它可以通过学习到大量的自然语言数据来生成自然流畅的文本,例如文章、对话等。
2019 年 11 月,OpenAI 开源了 GPT-2 语言模型的完整版本(有 15 亿个参数)。GPT-2 是作为 OpenAI 2018 年 GPT 模型的 "直接扩展" 而创建的,其参数和训练数据集的大小都增加了 10 倍。
在 GPT-2 之后,OpenAI 又推出了 1750 亿个参数的 GPT-3,只是其源代码从未被公开。OpenAI 认为 GPT-3 可能被滥用,因此不应开源。包括后来的 GPT-3.5、GPT-4 都没有开源。目前,公开免费版 ChatGPT 仍然基于 GPT-3.5,不过按月订阅 “ChatGPT Plus” 的用户能够试用由 GPT-4 提供支持的更新版本的 ChatGPT。
尽管 ChatGPT 没有开源,但趁着这波热度,还是有不少类似的开源项目出现,GitHub 已经有人做个了 替代 ChatGPT 的开源项目列表。
lucidrains/PaLM-rlhf-pytorch
这是一个类似于 ChatGPT 的模型,但使用的是 PaLM 架构。在 PaLM 架构之上实现了 RLHF(人类反馈强化学习)。
注:只有源代码,没有数据,没有模型权重,没有聊天系统。
togethercomputer/OpenChatKit
OpenChatKit 提供了一个强大的开源基础,可以为各种应用程序创建专用和通用聊天机器人。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
oobabooga/text-generation-webui
它是一个用于运行 GPT-J 6B、OPT、GALACTICA、LLaMA 和 Pygmalion 等大型语言模型的 gradio web UI。其目标是成为文本生成领域的AUTO.MATIC.1111/stable-diffusion-webui。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
KoboldAI/KoboldAI-Client
这是一个基于浏览器的前端,用于使用多个本地和远程 AI 模型进行 AI 辅助写作。它提供一系列标准工具,包括内存、作者笔记、世界信息、保存和加载、可调整的 AI 设置、格式化选项,以及导入现有 AI Dungeon 冒险的能力。您还可以打开冒险模式并像 AI Dungeon Unleashed 一样玩游戏。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
LAION-AI/Open-Assistant
OpenAssistant 是一个基于聊天的助手,可以理解任务,可以与第三方系统交互,并为此动态检索信息。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
tatsu-lab/stanford_alpaca
这是 Stanford Alpaca 项目的 repo,该项目旨在构建和共享指令遵循的 LLaMA 模型。
注:半开源、非真正开源、基于封闭模型等...
BlinkDL/ChatRWKV
ChatRWKV 类似于 ChatGPT,但由 RWKV(100% RNN)语言模型提供支持,并且是开源的。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
THUDM/ChatGLM-6B
ChatGLM-6B 是一个基于通用语言模型(GLM)框架的开放式双语语言模型,拥有 62 亿个参数。借助量化技术,用户可以在消费级显卡上进行本地部署(INT4 量化级别仅需 6GB GPU 显存)。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
bigscience-workshop/xmtf
此存储库概述了用于创建 BLOOMZ & mT0 和 xP3 的所有组件,这些组件在通过多任务微调进行跨语言泛化一文中介绍。
注:有数据,有模型权重,通过 API 可以实现基础的聊天功能。
carperai/trlx
这是一个用于通过人类反馈(RLHF)进行语言模型分布式训练的代码库,用于微调 GPT 模型以生成聊天文本的工具,支持在线 RL 训练多达 20 亿个参数的模型,以及离线 RL 训练更大的模型。
注:只有源代码,没有数据,没有模型权重,没有聊天系统。
databrickslabs/dolly
该模型基于 pythia-12b 进行训练,使用了约 15,000 条指令 / 响应微调记录,这些记录是由 Databricks 员工在 InstructGPT 论文的能力领域中生成的 databricks-dolly-15k。
注:有数据,有模型权重,通过 API 可以实现基础的聊天功能。
LianjiaTech/BELLE
本项目的目标是推动中文大型会话模型开源社区的发展。该项目在原有的 Stanford Alpaca 基础上优化了中文性能。模型微调仅使用通过 ChatGPT 生成的数据(没有其他数据)。此 repo 包含 175 个用于生成数据的中文种子任务、用于生成数据的代码、用于微调模型的 0.5M 生成数据等等。
注:有数据,有模型权重,通过 API 可以实现基础的聊天功能。
ethanyanjiali/minChatGPT
这个示例演示了如何使用 RLHF 技术对齐语言模型,使其能够生成类似于 ChatGPT 的聊天文本。
注:有数据,有模型权重,通过 API 可以实现基础的聊天功能。
cerebras/Cerebras-GPT
7 个开源 GPT-3 样式模型,参数范围从 1.11 亿到 130 亿,使用 Chinchilla 公式 训练。模型权重已在宽松许可下发布(特别是 Apache 2.0 许可)。
注:有数据,有模型权重,通过 API 可以实现基础的聊天功能。
TavernAI/TavernAI
一款主题风格是冒险和探险的聊天机器人,默认 AI 语言模型是 Pygmalion,还包括其他语言模型,比如 KoboldAI、ChatGPT、GPT-4 等。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
Cohee1207/SillyTavern
SillyTavern 是 TavernAI 1.2.8 的一个分支,目前正在积极开发中,并添加了许多主要功能。现在,它们可以被视为完全独立的程序。Tavern 是一个用户界面,它需要与一个 AI 系统后端配合使用,才能发挥作用。有多种支持的后端可供选择,包括 OpenAPI API(GPT)、KoboldAI(可以在本地运行或在 Google Colab 上运行)等。
注:有完整数据,有模型权重,包括 TUI 和 GUI 的精致聊天系统。
ChatGPT 这阵风刮得这么猛,GOTC 2023 怎会错过?
5 月 27 日至 28 日,GOTC 2023 将在上海召开, AIGC (AI Generated Content,AI 生成内容) 将成为本次大会的重头戏。尤其是在 “AI is Everywhere” 分论坛上,诸多 AI 专家将深入探讨 AIGC 背后的技术。
全球开源技术峰会,简称 GOTC,是由开放原子开源基金会、 Linux 基金会亚太区、上海浦东软件园和开源中国联合发起的,面向全球开发者的一场盛大开源技术盛宴。 5 月 27 日至 28 日,GOTC 2023 将于上海举办为期 2 天的开源行业盛会。大会将以行业展览、主题发言、特别论坛、分论坛的形式展现,与会者将一起探讨元宇宙、3D 与游戏、eBPF、Web3.0、区块链等热门技术主题,以及开源社区、AIGC、汽车软件、开源商业化、开源教育培训、云原生等热门话题,探讨开源未来,助力开源发展。
GOTC 2023 报名通道现已开启,诚邀全球各技术领域开源爱好者共襄盛举!
(来源:看头条网)
上一篇:加入北约不足一月,芬兰透露:或将允许美军设立军事基地
下一篇:今日数据精选: 上海“五一”楼市热闹非凡;XBB.1.16流行可能性小
最近更新娱乐资讯
- 获奖影评赏析|《阿丽塔·战斗天使》
- 人生必看十部好看的纪录片(十部必看的现实主义纪录片)
- 日本十大禁欲动漫盘点:唯美霸道下的污镜头
- 墨西哥大麻即将合法化,美媒:美国夹在两个“卖大麻的邻居”之间
- “和合”文化背景下昭君文化的价值生成
- 马来酸阿法替尼片人体生物等效性试验
- 原创《满城尽带黄金甲》:喧哗与沉静的戏台,道德与伦理的悲歌
- 裴旖旎
- 隐适美附件又掉了,从第一天掉了2颗,第二天掉了1颗,今晚我还戴牙套吗?
- 电视剧《最美的青春》:好作品是如何炼就的
- 狗头萝莉出摊卖煎饼大家怎么看?
- 记者的职业伦理:我该何时放下相机
- 绝命毒师电影,「蚁人」改造DNA,首部Netflix华语剧...10月流媒体片单
- 这是一部非常独特的「成人动画」,少儿不宜
- 高分电影推荐!六部直击人性黑暗面的韩国片!部部引人深省!
- 2022天津解放军464医院整形美容中心整形价格表(价目表)全新发布
- 精 [电影推荐]一再婚女人因拯救女儿,让两个家庭面临人性考验,此电影令人感动
- 缓冲晶体溶液与生理盐水对重症监护病房患者急性肾损伤的影响:SPLIT随机临床试验
- 未成年人千万别看这部片子,简直太变态了!!!
- 生态在文学中的位置
- 与3800多名女性发生过关系,世界小电影之王,终于那啥了
- 新加坡电影《爸妈不在家》爆冷获多项金马奖
- 调查称52%受访者认为国产电影色情暴力问题严重
- 红楼梦初中读书笔记
- 家庭伦理剧,小品剧本《家庭矛盾》