如果让一个生活在18世纪的人看到今天的世界,他会被现代科技的伟大所震撼,沉醉于未来社会的梦想;但是如果一个15世纪的人去看18世纪的世界,他就感受不到科技文明的进步。
随着时间的推移,人类的进步越来越快,因为新技术和知识可以更快地发展和传播。如今,人工智能技术已经发展到一个可以推动时代的节点。
目前,以ChatGPT、AIGC和大型模型为典范的智能化、操作系统级基础正在形成,大型技术被认为是推动人工智能技术发展的重要引擎之一。近几年,GPT-4、StableDiffusion、Midjourney等一系列大型产品相继出现,让大家关注一个概念:人工智能操作系统。
3月25日,由CSDN和新程序员联合主办的“新程序员大会(NPCon):AIGC和大型技术应用峰会”在北京环球贸易中心隆重举行。为了迎接这个全新的AI应用时代,邀请了五位具有代表性的人工智能专家在大会“AIGC与大型技术应用论坛”上,通过对AIGC和大型模型的思考和多年的行业探索实践,深入展示了人工智能发展的最全面面。
现场回放:https://live.csdn.net/room/programmer_editor/Nc8cfWuo。
精彩的观点先睹为快。
文因互联工程VP兼首席科学家宋邈:金融领域的大模型最终会实现,我们将成为整个历史浪潮中微小而强大的一部分。哥伦布曾经错误地认为他已经到达了印度,但他开辟的新路径仍然影响着整个人类。我们已经迈出了重要的一步,无论这场科技浪潮最终能否完全实现通用人工智能(AGI)。
网易伏羲实验室资深研究员张荣升:ChatGPT的互动模式很受欢迎,真正理解用户意图的能力也是革命性的。未来预训练模式将朝着多模式发展,大模式的使用将越来越受欢迎。
超对称技术首席科学家吴恒魁:人类级逻辑和复杂推理能力出现在大模型中是一种出现行为。随着模型复杂度的增加,预测下一个词的GPT模型可能会遵循“连续变化”的规律,出现新的出现行为。
从左边开始:张荣升,蔡华,李佳芮,宋,邹欣。
中国人工智能实验室资深研究员蔡华:大模型提供了更强大、更智能的互动模式,让虚拟数字人更有温度。未来,数字人将能够理解他人的感受和情绪,与他人进行个性化的互动。
微软AIMVP李佳芮句子互动创始人&CEO:工业革命解决了“重复体力劳动”问题,未来人工智能解决了“重复脑力劳动”问题。对话人工智能已经到来,人类最终会与AI“共生”,让机器做机器擅长的事情,让人类充分发挥人类的特长,让人工智能拓展人类智能。
CSDN副总裁邹欣:大模型是走向AGI的唯一途径。虽然训练大模型的成本很高,但与小模型的“画地为牢”相比,大模型可以一劳永逸地节省更多的资源。
如今,也可以从CSDN视频号中观看最精彩的现场直播回放(路径:关注-点击“直播”-找到回放):
金融业的大模式将导致行业的变革。
下面是“AIGC与大模型技术应用”论坛的演讲精华:
论坛开幕式上,文因互联工程VP兼首席科学家宋邈带来了“探索金融AIGC领域新技术模型的前景与应用”的主题演讲。
文因互联工程VP兼首席科学家宋英。
AI历史上经历了很多关键时刻,ChatGPT的诞生无疑是另一个可以载入史册的里程碑事件。宋邈表示,AI/AGI正在实现从鹦鹉智能到乌鸦智能的过渡。从2013年深度学习方法到2017年Transformer,再到2020年大语言模型的广泛应用,这一领域正在蓬勃发展。ChatGPT可以观察类别的反馈,整合知识,更符合人类的要求,最终引发第三代文字处理革命。
不过,针对宋邈所在的金融领域,她还指出了ChatGPT存在的四大问题:
在知识层面上,ChatGPT缺乏知识驱动,对于领域问题仍然存在瓶颈。
在可行性方面,ChatGPT仍然是一个黑盒模型,不但计算过程无法解释,而且输出也不可信。
在数据层面上,通用大型模型本身在数据适应性、合规性和安全性方面仍然受到ToB场景应用的限制。
在成本层面上,大模型的稳定训练和优异的性能需要极高的计算成本和工程实现能力。
在构建领域语言模型(DLM)、构建和整合领域Prompt(提示、指令)集、利用RLHF的基本原理、减少对进口硬件的依赖等方面,宋英建议从构建领域语言模型(DLM)、构建和整合领域Prompt(提示、指令)集、利用RLHF的基本原理、减少对进口硬件的依赖等多个方面入手,最终创建FD-LLM(金融领域的大模型)。
类似于ChatGPT的一般大模型需要具备写诗和绘画的能力,但是对于FD-LLM来说,只需要在这个领域保持自己的优势,也就是可以回答金融行业的问题。目前,AIGC已广泛应用于各种金融场景,FD-LLM将进一步大大提高文档类型的覆盖面、数据维度的丰富性和业务规则的挖掘。
宋英预测,今年AIGC在报告生成场景中的应用将爆发井喷,影响银行信贷、生成评级报告、债券募集手册和财经新闻。未来,FD-LLM将在金融领域实现人工智能模型,并将进一步开发降低成本的工具和技术。
多模式发展是大模型技术的趋势。
网易伏羲实验室资深研究员、NLP研究组和多模态算法负责人张荣升在接下来的“文本和多模态预训练技术的研究与应用”主题演讲中介绍了网易伏羲实验室在大模型方向的技术积累,包括文本多模态理解和生成预训练模型的构建,以及歌词辅助创作、文字游戏和互联网搜索推荐等领域的大模型应用案例。
网易伏羲实验室资深研究员张荣升。
张荣升首先指出,增加预训练模型的规模和提高数据质量已经成为获得更好人工智能效果的重要手段。近年来,硬件、深度学习框架、模型本身及其上层商业应用的发展非常广泛,从最初的文本到图像和音频领域,已经成为未来的趋势。
张荣升的工作团队在预训练模型云平台上建立了文本、图像、音乐和行为序列的大模型,并开发了包括高效微调和特定垂直领域场景应用在内的多样化应用,最终推出了六合平台出租中文预训练大模型。
张荣升指出,考虑到下游应用场景,伏羲推出的中文文本预训练模型“玉言”的训练语料主要来源于小说、百科、新闻等。该模型可以通过二次训练将现有的GPT模型转换为Prefix-LM,提高语义理解能力,兼顾生成和理解任务,将理解任务转换为生成任务。Enc-Dec预训练模型可以使大型模型具有优秀的理解能力和优秀的生成能力。
下一步,张荣升介绍了伏羲多模式预训练模型技术在应用落地时的做法。
第一个案例是网易《逆水行舟》游戏中的“傀儡戏”,让玩家和AI一起创作剧本,进行角色扮演。其实实现的方法是通过GPT模型将玩家的输入与故事状态联系起来,发送到预训练的文本生成模型中生成候选答案,然后通过目标判断模块进行判断。
第二种情况是网易的“精神”歌词辅助创作。大模型技术也为这种创意业务提供了工具。它可以提供内容和格式的多维定制生成,也可以联系上下文进行局部修改。
随后,张荣升介绍了多模式预训练模型技术的研究和应用。伏羲团队基于clip框架建立了自己的数据库,其中约有9亿条中文数据,包括7亿条互联网数据和2亿条开源数据,其模型能力得到了市场的验证。
图形理解预训练模型可以利用大量数据处理中文场景下的文本图像理解六合平台出租和风格化图像的微调,同时根据游戏业务或互联网业务的需求定制游戏制作领域繁琐、需求量大的图标生成功能,甚至完成AI绘制视频插图。这种思维将启迪整个行业,推动产业革命更新,促进文本创作和多模式创作。
程序员的逻辑能力正在出现在大语言模型中。
没有学术界的潜心研究,人工智能给我们的生活带来了巨大的变化。加州大学戴维斯分校物理学博士、超对称技术首席科学家吴恒魁带来的主题演讲是“建立基于重组理论的大语言模型的出现现象的数学框架”。
原子组成分子,蚂蚁组成蚁群,人类建设国家。个体对群体的组织行为导致了意想不到的新特征,这就是出现。
吴恒魁指出,涌现现象也可以在GPT-4这样的大型模型中观察到,这种现象也可以在早期的神经网络和1000亿参数的大型语言模型中观察到。如今,随着模型能力的不断演变,出现了复杂的推理,产生了接近人类的逻辑。随着模型复杂性和能力的变化,整个系统的复杂性也在发生变化,从而输出一些意想不到的结果,类似于出现。这种超出预期的表现在模型系统简单的时候是没有的。
吴恒魁提出,从通用人工智能(AGI)的角度来看,GPT系列无疑是最成功的。在构建单一预训练语言模型的基础上,GPT系列产品可以应用于不同的下游任务和各种控制任务,从而建立统一的底层基础模型,并根据该模型对不同下游任务进行微调。
GPT在多项技术的基础上,产生了上下文学习能力和零样本学习能力,并根据预训练模型进行了微调。现在整个行业都在追求通用人工智能,GPT的范式是革命性的。
随后,吴恒魁深入介绍了大语言模型的出现。GPT现在具备了人类的逻辑能力,这本身就是一种出现。如果你继续训练,你仍然可以像人类一样具备预测单词的能力。当模型复杂性小的时候,模型就不能具备这个能力,反之亦然。模型的复杂性不仅与参数有关,还与数据量和训练步数有关。因此,只有增加模型的复杂性,才能应对不同的任务,产生相应的强大能力。
在物理学中,出现行为的基本原因是复杂系统中的某种对称性被破坏,而这种对称性的缺陷是出现行为的基本原因。目前,大语言模型系统的参数已经达到1750亿。从最底层的单元到最后的大语言模型,它们之间的相关性是一个相关的系数。这些联系是如何形成的?吴恒魁提出了以下基本思路:
数学相关性是通过重组集团来构建的,从最微观的神经元到最终的大语言模型的相关性是用一套数学系统来描述的。根据吴恒魁的分析,他指出标度律显示了模型loss值与模型参数、训练数据量和训练计算能力在大语言模型训练过程中的幂次方之间的关系。
通过统计力学,构建了一套大语言模型相变行为分析的数学框架。其中,主要是寻找六合平台出租大语言模型的序参数,从而计算序参数的临界指数。在统计力学相变理论中,从一种状态到另一种状态过程的临界状态遵循幂定律;幂定律显示相变的存在。
最后,我们可以通过训练底层大模型和微调来探索模型逻辑的变化和复杂逻辑能力的出现,用相变理论和重组理论来构建一个数学框架来解释大语言模型的出现。
程序员们正在赋予“虚拟数字人”灵魂。
随后,华院计算人工智能实验室资深研究员蔡华带来了“让数字人更有个性和情感:ChatGPT技术的思考启示”的主题演讲。他将讨论虚拟数字人物在对话交互中的个性和情感功能,并介绍GPT技术的最新应用,探索数字人物在对话交互中的个性和情感表现。
计算人工智能实验室资深研究员蔡华。
华院计算的虚拟数字人是基于认知算法和AIGC技术的具体体现。华院认为,虚拟数字人有三个层次,第一个层次是能说会动,第二个层次是真情实感,第三个层次是能思考和思考。第一个层次与AIGC技术中的音视频生成有关,第二个层次与文本生成和跨模式生成有关。最后一个层次是机器人可以有自己的思维,继续独立学习,涉及战略生成等其他方面。
目前,ChatGPT已经覆盖了更多的能力领域,可以回答问题、写文章、摘要文本、语言翻译和代码生成等任务,同时可以处理更多的小众主题。接下来,蔡华介绍了如何使用ChatGPT来模拟角色扮演和场景,使人工智能具有个性和情感,主要使用两种技术:语境学习(In-cont)。
文章来源:http://xefnxmx.cn|盘口出租/盘口租用/六合平台出租