请选择 进入手机版 | 继续访问电脑版

雅恒论坛

您可以使用eMule或eMule Mod(参见eMuleFans.com的Mod页emule-mods.de的Mod页)(Windows)、aMule(Win、Linux、Mac)等软件下载eD2k链接。可以参考这里的修复、关联eD2k协议链接方法
eMule收藏集(.emulecollection)文件是您选中的所有链接的列表文件。eMule可以直接下载它们。
按住SHIFT键选择可以选中多个选择框。
可用文件名和大小选择器来选择文件。
查看eD2k Link Selector php类主页可以下载此php类或联系作者。
查看eD2k Link Selector WordPress 插件主页可以下载WordPress插件。
文件名选择器帮您根据文件名称或后缀来选择文件。不分大小写。
符号使用:
和:空格( )、+
不包含:-
或:|
转义:一对英文引号("");
匹配开头:^
匹配结尾:$
例如:
选中所有名称中包含有“eMule”或“0.49c”字眼,但不包含有“exe”字眼的:emule|0.49c -exe
选中所有名称的开头是“eMule”,结尾是“0.49c”的:^emule 0.49c$
选中所有名称中带有“eMule 0.49c”的(必须是“eMule 0.49c”,中间没有别的字符,不能是“eMule fake 0.49c”),需要转义:"emule 0.49c"
大小选择器帮您根据文件大小选择文件。
查看: 435|回复: 0

【微调培训】VisualGLM & XrayGLM:从「模型结构」到「微调实...

[复制链接]

41

主题

68

帖子

435

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
435
发表于 2023-6-25 17:31:28 | 显示全部楼层 |阅读模式
640 (63).png


继 GPT-4 发布之后,多模态正成为大模型研究和应用的主流趋势之一。
为了促进这一领域的迅速发展,近期智谱AI 和清华大学 KEG 实验室开源了基于 ChatGLM-6B 的多模态对话模型 VisualGLM-6B开源之后,一方面大家迅速部署了该模型,并发出许多有趣的demo:


640 (64).png


清华开源图文对话大模型!表情包解读有一手,奇怪的benchmark增加了[color=var(--weui-LINK)]来源:量子位另一方面,则有不少高校和开发者基于 VisualGLM 微调出具有使用价值的项目,其中尤为突出的包括由澳门理工大学团队开发的 XrayGLM —— 一个能读X光片的大模型:


640 (65).png


为了让开发者更加容易地理解 VisualGLM,并能够在自己机器上部署和微调 VisualGLM,以开发出适用于自己领域的多模态大模型,我们邀请了 VisualGLM 的作者以及 XrayGLM 的作者来给我们从头讲解相关内容,并做详细的代码实践。
作为能够理解图像的中文开源对话模型,VisualGLM 目前仍处于 v1 版本,仍然有相当多的局限性。这一方面,要求我们加快研发速度;另一方面,也离不开开发者社区共同建设。我们邀请大家一起观看本次「微调培训」,并希望能微调出更多有趣且有用的多模态大模型。




培训时间:2023/5/30 19:00-21:30腾讯会议:677-121-000

微调培训主题
课程 1 - VisualGLM:理论、部署、微调
讲师:丁铭项目简介:
VisualGLM-6B 是一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于ChatGLM-6B,具有 62 亿参数;图像部分通过训练BLIP2-Qformer 构建起视觉模型与语言模型的桥梁,整体模型共78亿参数。
VisualGLM-6B 依靠来自于CogView数据集的30M高质量中文图文对,与300M经过筛选的英文图文对进行预训练,中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间;之后的微调阶段,模型在长视觉问答数据上训练,以生成符合人类偏好的答案。
VisualGLM-6B 由SwissArmyTransformer(简称sat) 库训练,这是一个支持Transformer灵活修改、训练的工具库,支持Lora、P-tuning等参数高效微调方法。本项目提供了符合用户习惯的huggingface接口,也提供了基于sat的接口。
结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需8.7G显存)。
项目地址:
https://github.com/THUDM/VisualGLM-6B


课程 2 - XrayGLM:原理、数据、微调


讲师:王荣胜项目简介:


最近,通用领域的大语言模型 (LLM),例如 ChatGPT,在遵循指令和产生类似人类响应方面取得了显著的成功,这种成功间接促进了多模态大模型的研究和发展,如通用领域的多模态大模型MiniGPT-4、mPLUG-Owl、Multimodal-GPT和LLaVA 然而,此类多模态大模型却很少出现在医学领域的研究中,阻碍了相关研究发展。visual-med-alpaca虽然在医学多模态大模型方面做出了一些很有成效的工作,然而其数据为英文诊断报告,不利于促进中文领域医学多模态大模型的研究发展。为此,我们开发了XrayGLM以解决上述问题。XrayGLM在医学影像诊断和多轮交互对话上显示出了非凡的潜力。

项目链接:
https://github.com/WangRongsheng/XrayGLM

引用原文:https://mp.weixin.qq.com/s/xdQZR0XIpqcwiOYRjmDSvA



您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

备案号:粤ICP备14013464号
快速回复 返回顶部 返回列表