中文多模态模型问世!IDPChat生成图像文字,只需5步+单GPU
新智元报道
编辑:桃子 拉燕
【新智元导读】中文多模态模型IDPChat来了,快速上手教程在此。
中文多模态模型IDPChat和大家见面了。
随着GPT4、文心一言等的发布,预训练大模型正式开启由单模态向多模态模型演进。多模态的特性为语言模型带来更加丰富的应用场景。
我们认为,未来的AI应用将主要以大模型为核心基石。
而在大模型的领域,基于基础模型(Foundation model)构建领域或企业自有的大模型,会是近中期的重要发展趋势。
但在私有化大模型微调和应用方面,企业和机构仍面临着微调复杂、部署困难、成本较高等种种工程化挑战。
白海作为AI基础软件服务商,我们希望能够从AI Infra层面,提供端到端的大模型微调、部署和应用工具,降低大模型微调和应用的门槛。白海科技IDP平台目前提供了从大模型数据源接入到大模型微调训练、模型发布的全流程功能。
我们以IDP平台为工具支撑,以预训练大语言模型LLaMA和开源文生图预训练模型Stable Diffusion为基础,快速构建了多模态大模型应用IDPChat。开发者们可根据场景需求,便捷地对其进行微调优化。
项目地址:https://github.com/BaihaiAI/IDPChat
IDPChat 能做什么
IDPChat目前可以同时支持文字对话和图片生成。
首先是图像生成,我们可以让模型根据文字描述画一幅画。
基础的文字对话聊天示例,可支持中文。
IDPChat 快速上手
仅需简单的5步和单GPU,即可快速启用IDPChat。
操作步骤如下:
1.??修改 https://new.qq.com/omn/20230416/backend/app/stable_diffusion/generate_image.py 文件,设置 diffusion_path 的值为本地 stable-diffusion 模型存储路径,设置 trans_path 的值为本地中文翻译模型的存储路径
2.??修改 https://new.qq.com/omn/20230416/backend/app/llama/generate_text.py 文件,设置 load_model 的 base 参数值为本地 llama 模型的存储路径
3.??执行 build.sh 脚本进行编译
4.??编译成功后执行 run.sh 脚本启动服务
5.??服务启动成功后,在浏览器中打开http://127.0.0.1:8000
在应用之前,需要下载准备所需的模型,LLaMA、Stable diffusion和相应的翻译模型。
具体所需的环境、模型、和操作步骤可以参考https://github.com/BaihaiAI/IDPChat
目前发布IDPChat初步版本,打通模型微调的全流程。
后续我们会继续对模型进行优化和丰富,如多模态部分增加图像描述功能。
当然要实现特定领域更高质量、针对性的表现,还需要基于领域数据的finetune和优化。
最近更新热点资讯
- 谷歌AI聊天记录让网友San值狂掉:研究员走火入魔认为它已具备人格,被罚带薪休假
- 豆瓣9.4,姐弟恋、三人行,这部大尺度太厉害
- Genes, Intelligence, Racial Hygiene, Gen
- 【土耳其电影】《冬眠》电影评价: 宛如一部回归伯格曼风格的道德剧
- 陌生人社会伦理问题研究
- 理论研究|前海实践的价值理性和工具理性
- 澳门刑事证据禁止规则
- 综艺普及剧本杀和密室逃脱助力线下实体店爆发式增长
- 日本小伙和五个小姐姐同居?看完我酸了!
- 第一学期高一语文考试期中试卷
- 高中必考的物理公式有哪些
- 这部大尺度的申奥片,却讲述了不lun恋...
- 心理语言学论文精品(七篇)
- 《贵妃还乡》 超清
- 专论 | 郭丹彤、陈嘉琪:古代埃及书信中的玛阿特观念
- 微专业招生 | 数字文化传播微专业列车即将发车,沿途课程抢先看!
- 生态安全的重要性汇总十篇
- 原创因“18禁”电影登舆论顶峰,万千少女一场春梦:这一生,足够了
- 章鱼头
- 读书心得体会
- 考研考北京大学医学部或者协和是一种怎样的难度?
- 央媒评女主播编造“夜宿故宫”:让肇事者付出代价,理所应当
- 库欣病患者求医记(流水账)
- 《太平公主》④ | 地位越高,越要装傻
- 爱体检 安卓版 v2.5