这期七赚网七哥分享了一篇, 关于GPT是什么的前世今生的内容, 看看这项技术具备哪些技术特点, 它未来存在怎样可能的发展方向, 以及会给各行业带来哪些影响等, 原文来自©PaperWeekly原创, 作者是张燚钧, 单位为中国移动云能力中心, 研究方向是预训练大模型, 感兴趣的赚友能够关注作者咨询了解。
GPT热潮已持续月余, 如今热度依旧未减, 依据最新消息, GPT的升级版GPT - 4也已准备就绪。回顾GPT这波热潮, GPT是什么, 也就是定义、能力, 它从哪来, 即如何发展, 它又去往哪, 就是给行业带来哪些影响。本文围绕这三点, 尽力把这几个问题阐释明白, 最后还带来这波热潮的相关思考, 并与大家分享。
一、GPT是什么意思
首先介绍一下 GPT 是什么。
GPT 是聊天机器人程序, 由人工智能研究机构 OpenAI 在 2022 年 11 月 30 日发布, 它属于自然语言处理（NLP）模型, 能进行连续对话, 能综合上下文内容交流, 还能进行信息检索、写作辅助、问题解答、代码生成等多项工作。
GPT 的全称是 Chat Generative Pre-trained Transformer, 它是一 种可用于聊天的生成式预训练事物, 此事物为 Transformer, 而这里的 Transformer 是当下大模型里的基础结构, 由此能够理解的是 GPT 是一个用于聊天的预训练语言大模型。
图1 GPT界面
图2 Transformer中的解码器（GPT的基础结构）
1.1 GPT的能力之信息检索
GPT具备做信息检索的本领, 举例来说, 要是你向它询问是否知晓中国移动云能力中心, 那时它便会将中国移动云能力中心的主要业务内容予以介绍, 若是你向其探究2018年世界杯的冠军归属是哪一个国家, 就是这样。
图3 GPT进行信息检索
1.2 GPT的能力之推理（Excel为例）
在对话机器人范畴里, GPT有着超出以往同类的表现, 除了具备传统的信息检索能力那方面, 还在于她拥有一定的推理能力世界杯2026直播平台，我们拿常见的Excel处理来作为例子。
第一步能够使她制造出一个虚拟的信息表格, 这个表格涵盖姓名, 还有年龄, 以及出生日期, 包括毕业学校, 另外还有工作地点。
图4 GPT处理表格
我向她提出这样一项要求, 也就是要她书写一个 Excel 函数, 借助这个函数去查找出生时间在 1996 年以前的人的工作所在之地。
图5 GPT函数处理Excel
你能够直接从她那里获取到Excel写法以及适用情境的告知, 并且她还会针对函数内部的内容予以诠释。不仅仅是这样, Office序列性质的软件当中, 对VBA所具备的语言编程也是有着支持的, 在这特定的地方, 你是能够对她提出更进一步的要求, 最终让她运用VBA语言去编写上面所提及的那个函数。
图6 GPT将函数转换为VBA编程语言
同一时间能够看到，函数方面针对每一个部分都增添了中文注释, 以此做到有利于理解, 方便后续进行修改。
最后她还会给出函数的使用建议和适用情境。
下面再以 Python 编程为例：
责令她去撰写一个契合中国手机号码格式的, Python形式的正则化表达式:
图7 GPT进行Python编程
她不但能够给出中国手机号码的匹配, 并且还考虑到倘若需要匹配别的国家的电话号码, 要修改哪些内容。
1.3 GPT的能力之写作辅助
GPT存在着一项功能, 这项功能属于写作辅助范畴, 举例来说, 当你要求它去撰写一部分内容, 这部分内容与结构化研究相关工作介绍有关。
图8 GPT内容生成
她可以把 NLP 中几个主流的研究方向都列举出来。
1. 与此同时, 还针对润色做了测试。基于GPT润色呈现出的效果, 我们察觉到GPT的修改程度并非会特别大, 不会去改变原本的专业表述（就是鉴于训练语料方面的缘由, GPT对于学术专业这个领域的知识并不怎么擅长）。2. 与之相对比的是, 当下存在的一些AI写作工具, 会出现那种“为了修改而去修改”的状况, 反而把原文本的严谨描述给破坏掉了。
图9 GPT文本润色
二、GPT从哪来？
2.1 GPT如何诞生
造成GPT得以问世的缘由存在着诸多, 在这儿笔者择选出其中自认为是最为关键的两大类缘由, 其一为一个机构, 即OpenAI, 其二为一个人, 即Ilya Sutskever。
OpenAI：
2015年, OpenAI被Alon Mask、PayPal联合创始人Peter Thiel、美国科技孵化器Y combinator总裁Samuel Altman等人联合创立, 该机构的成立目的是与其他机构研究者进行“自由合作”并向公众开放专利和研究成果, 以此来促进人类AI技术的发展。
图10 OpenAI发展历程
在2018年的时候, OpenAI所研发产生的Five人工智能选手, 取得了在Dota2游戏里战胜人类选手这样的结果。在该同一年, OpenAI发布了GPT-1。到了2019年, 微软出资10亿美元对向OpenAI进行投资, 从而获得OpenAI技术的商业化授权。2020年时OpenAI发布OpenAI API, 借助对外提供AI能力开启进行商业化运作。2022年11月30日, OpenAI发布GPT, 1月中旬, 微软对OpenAI追加100亿美元投资开云手机入口app下载开云app官方入口网站，2月8日, 发布集成了GPT的new Bing新一代搜索引擎。
Ilya Sutskever：
图11 Ilya Sutskever
OpenAI 的联合创始人和首席科学家是 Ilya, 正是在他的引领之下, 身为深度学习先驱泰斗 Geoffery Hinton 早年弟子的 Ilya, 在 OpenAI 开发尖端技术以及推动人工智能领域进步方面取得了显著进步, Ilya 于 2011 年就和导师合作设想通用人工智能（Artificial General Intelligence, AGI）, 并且在 2012 年作为共同作者发表对于深度学习领域有着开创性意义的 AlexNet。
2013年, Ilya加入谷歌, 谷歌身为大公司, 在AI研究领域那种趋向于保守的作风, 渐渐令Ilya丧失了吸引力, 2015年, Ilya拒绝了谷歌所开的三倍薪资毅然加入刚初创的OpenAI, 去为人类实现AGI这个愿景而拼搏奋斗, 在Ilya的引领之下, OpenAI于2018年、19年、20年依次迭代开展GPT - 1、2、3的研发工作, 最终在2022年发布GPT并令世界为之惊叹。
2.2 GPT进化史
图12 GPT技术演进
GPT是从GPT - 1开始依序发展形成的, GPT系列模型的参数量持续增多, 呈数量级那样增长, 规模先是有GPT - 1的1.17亿参数、GPT - 2的15亿参数, 接着逐渐发展到GPT - 3的1750亿参数, 并且GPT能够被看作是GPT - 3.5, GPT系列模型归属于生成式预训练大模型, 它的技术范式跟另一种较流行的BERT语言模型不一样, BERT语言模型采用的是“预训练+微调”这种技术范式。
2.3 GPT核心技术
就自然语言处理的AI技术范式演进而言, 2010年之前能够视作传统机器学习的年代。自2013年之后, 借助深度神经网络的NLP技术才着手兴起。此阶段涌现出了以循环神经网络当代表征的深度语言模型。到了2017年, 谷歌小组发布了论文《Attention is all you need》。这便奠定了如今大模型的基础构成部分Transformer。2018年, BERT发布, 紧接着GPT预训练语言大模型也发布, 此时大模型技术开始萌芽, 随后几年, 特别是2020年之后, 国内国外各种预训练大模型一个接着一个相继迭代发布, 大模型技术迎来高潮。
GPT 涉及几项关键技术：
超大规模预训练模型
大模型研究人员发现, 模型能力会因模型参数呈对数级增长而得以增强, 并且唯有达到足够大程度且大于六百亿参数 的模型, 才能够显现出推理能力, 这就是所谓的Scaling law。
Prompt/Instruction learning
多种自然语言任务, 于GPT里, 皆统一成为Prompt的形式, 借助Instruction learning等途径, 提升模型零样本任务处理能力。
思维链（Chain of Though）
借助由代码数据供给的训练, 经过研究发觉, 进而语言模型呈现出推出论断的能力。此推断得以确立, 或许是由于代码的书写通常都携带着逻辑性内涵（当中亦涵盖代码注释部分）。基于此, 模型成功获取了凭借代码所内含的逻辑来处置问题的能力。
增强学习基于人类反馈, 即强化学习源自人类反馈, 也就是从人类反馈进行强化学习。
相对GPT - 3模型而言, GPT存在着实力上进行提升以凸显差异性的一处要点, 这处要点就集中在对话所展现出的友好特性方面。研究人员借助人类对于答案展开具备分类属性的标记行为, 采用强化手法凭借学习的形式把如此这般的“人类偏好”灌注到GPT之内的运行规则中, 进而达成让模型所输出的内容更贴合友好的标准, 同时更具备安全性的效果。
2.4 GPT训练过程
图13 GPT主要训练流程
GPT的训练工程极为繁杂, 当前并未公布详尽的步骤, 在OpenAI公开的论文里, GPT的训练主要涵盖三个步骤, 其一, 先运用大量数据对一个有监督的微调模型展开预训练, 其二, 标注人员依照人类的偏好给同一问题的各异答案进行排序, 之后运用这些数据训练出一个具备人类偏好的奖励模型。
第三步, 通过监督学习来初始化 PPO 模型, 利用奖励模型针对模型的输出予以打分, 接着把结果反馈至模型里头, 进而做进一步的优化, 最终获得 GPT。
三、GPT去往哪
3.1 GPT的局限
图14 信息准确性不足
GPT当下的信息准确程度不够, 就像之前的世界杯场景那样。要是我们紧接着着重指出: “不, 2018年是德国队拿到了冠军”（向模型输入错误事实）, 那么模型会否认它之前正确的认知, 依照提问者的倾向去回答问题。
图15 信息滞后
GPT存在知识滞后的状况, 其最新知识截止于2021年9月, 并且当下要更新GPT模型的算力成本颇高, 进而保证模型本身知识的实时性十分困难, 目前有类似New Bing机制这样的一种解决方案, New Bing是把在互联网上检索得来的信息经GPT进行归纳总结后, 形成易于理解的答案回复给提问者。
GPT存在着别的局限, 比如说, 数据安全性方面的问题, GPT当下能够开展一些表格分析、代码生成工作, 然而, 在诸多场景里, 这类数据属于敏感信息, 是不可以输入到公开的第三方模型当中去的。
关于可解释性方面存在问题, 即 GPT 没能避开深度学习时代就已然存在的那个可解释性问题, GPT 给出的答案, 其来源的依据没办法去追寻出来, 而 GPT 自身很容易受到提问者所提问题内容的作用影响之下, 在特殊情形时会生成某些违规的答案, 当下微软靠着限制一次对话的提问数量, 去强行回避这样的问题, 在训练成本、运营成本方面, GPT 当前训练时所需成本以及运营成本是普通企业承受不了的, 未来若想推广类 GPT 技术, 就一定要降低成本。
3.2 GPT的影响
图16 GPT应用商业落地
查看国际行业巨头的举动, 微软宣称旗下Bing搜索引擎、Office套件全部接入GPT, 其云服务Azure是OpenAI的独家供应商, 亚马逊投资对话大模型初创公司, 打算把类GPT机器人接入自身云服务平台AWS, 提供运维以及客服咨询服务, 一系列基于文本生成技术的AI产品冒了出来, 当中一些取得了巨大成功。以做文本生成服务的初创公司Jasper AI来讲, 2021年1月的时候上线了产品的第一个版本, 在2022年10月进行了融资, 融资金额为1.25亿美元, 其在2022年的收入是7500万美元。
图17 国内巨头GPT布局
国内那些处于行业领先地位的巨头们, 也都陆陆续续作出了回应。其中主要的互联网领域的巨头宣告会在这个赛道之上进行布局, 由此国内版本的GPT好像马上就要出现了。
笔者因工作属性, 对GPT于算力以及云厂商方面形成的影响, 格外予以关注, GPT促使算力需求掀起又一轮高潮, 据估算, GPT每月运营成本高达889万美元, 不考虑调试情况, 单次训练GPT成本高达460万美元。
假设企业采用私有部署类GPT方案, 运用了16张具备40GB显存的A100显卡, 单次提问的响应时长高达10秒。若把内存提升到80GB, 相应的响应时间能够缩短至几百毫秒。
对于中小企业来讲, 哪怕是那种稍微勉强还能够接受的问答性能, 私有部署所涵盖的成本开支却是根本很难承受得住的。在 2 月 17 日这一天, OpenAI 推出了私有模型运行平台 Foundry , 可以进行把 GPT 实例私有部署过来, 预估价格是每年 26 万美元。未来 GPT 的私有部署含括国内类 GPT 产品, 都是需要云端算力去给予支撑才行的。
图18 GPT运营成本高昂
GPT把大模型研发的入门门槛提升到了极高的程度, 当下行业巨头已储备了颇为可观的算力, 大模型生态逐步得以形成, 在国内, 能够开展大模型研究的机构寥寥无几, 除去头部企业, 仅有少数有政府支持且自有算力的研究机构能够参与其中。
图19 大模型算力生态、平台逐步形成
四、GPT带来的几点思考
OpenAI为什么成功
OpenAI 的成功并非一下子就达成的, 历经了长时间默默的投入以及技术方面的坚持努力。即便到了当下这个时候, 在互联网上依旧能够查找得到针对 GPT - 3 模型开展公测之际的吐槽。OpenAI 在自然语言处理大模型这个领域范围内, 秉持着基于生成式预训练的大模型范式这一理念, 持续不断地进行迭代历经好多年。然而第一代 GPT 在自然语言处理基准任务所展现出的性能, 并没有超越 BERT 模型。
不少于国内的研究者, 就转向了BERT模型那种“依循其模型的方式, 先进行预训练, 之后再做微调”的模式, 进而摒弃了GPT相关的研究路径。Ilya舍弃了有着高达数百万美元薪资的职位, 决然地入职当时毫无任何商业营收的OpenAI, 一些在相关领域颇有名气的人物, 于OpenAI创立之际也参与进来, 然而在中途, 又因各类不同的缘由选择离开。Ilya对于技术所抱有的那份执着与坚定的信念, 实在是让人由衷地感到钦佩。
图20 网络上对GPT-3效果的吐槽
国内GPT热潮的滞后性
图21 国内外GPT热潮时间点
就谷歌指数以及百度指数而言, 在国际上, GPT 从 2022 年 11 月 30 日问世起, 其热度始终持续不断地在上升。而在国内, GPT 掀起热潮的起始点, 主要是在 1 月份, 当时微软向 OpenAI 投入 100 亿美元, 发布了 New Bing, 谷歌又赶忙紧急进行跟进等, 众多资本有所动作、巨头出现相关新闻这样的时间节点才开创的。国内方面对待新技术具备较强敏感性这事, 还有待进一步提升。
人工智能时代的我们
近年来, 人工智能领域有突破了, 特别是以大模型技术为表象代表的通用人工智能技术落地了, 这使得人们瞧见了人工智能技术在我们这个时期达成了历来未曾拥有的超越发展, 绝非虚妄之想象。人工智能替代人类并非毫无可能。然而, 伴着人工智能技术于越来越多的领域里得以普遍施用, 我们务必要留意维持思考之惯态。人工智能应当是起到辅助、拓展之功效, 而非对我们的思考能力予以取代。
注：文章整理自笔者在移动云内部技术分享报告开云app在线入口,开云真人官方下载，有删改。
标签： ChatGPT 人工智能 自然语言处理 大模型 行业影响
还木有评论哦，快来抢沙发吧~