继ChatGPT以来，大模型在国内掀起了一股热潮，大有百模征战之意。而其间数据、算法、算力作为大模型练习的三驾马车，预练习数据的数量、质量、多样性成为大模型才干体现的要害性要素，数据关于人工智能范畴的重要性值得咱们从头审视。

可是，在寻求技能立异的一起，保证数据的合法性、隐私维护和品德问题的考量也应当得到满足的注重。从现在AI大模型的开展来看，数据集的争议在近年来变得越发常见。因为大规模练习数据集关于练习强壮的AI模型至关重要，数据集的来历和运用问题引发了一系列的法令和品德争议。跟着AI技能的快速开展和广泛运用，保证数据的合法和通明运用变得尤为重要。

那么，数据作为大模型练习的根底，应该怎么保证数据安全呢？针对大模型练习，“量”为主仍是“质”为主呢？针对现在大模型练习进程中的数据问题，又有什么处理办法？

01 数据成为大模型研制卡脖子问题

数据集质量是大模型研制中的要害，只要经过高质量、多样性的数据集，才干让大模型展现出真实的智能和创造力。可是，在大模型研制进程中，运用的数据却成为了其生长之路上的重要阻止。在国外，因大模型研制而构成的数据胶葛早已呈现。

一群匿名人士在一项团体诉讼中宣称，ChatGPT的开发商OpenAI公司正在盗取许多个人信息，以练习其人工智能模型悍然不顾地追逐赢利。这些匿名人士责备OpenAI从互联网上隐秘抓取3000亿字，窃听了“书本、文章、网站和帖子，包含未经赞同取得的个人信息”，违背了隐私法。

除此之外，国内也呈现了大模型相关的数据胶葛，其间笔神作文对学而思大模型的指控更是再次让咱们注重到了数据对大模型的重要性。笔神作文表明，学而思经过“爬虫”技能不合法拜访、缓存笔神作文APP服务器数据多达258万次，严峻侵略了笔神作文APP的数据权益。这一行为不只违背了两边的合同条款，也违背了《数据安全法》相关规则，严峻侵略了笔神作文APP的数据权益。

对此，学而思官方微博发文回应称:“首要，MathGPT是专心于数学范畴的自研大模型，没有任何作文相关数据;其次，‘作文AI帮手’现在处于开发状况，没有发布，该服务并未运用笔神作文的任何数据。”

此外，推特、“美版贴吧”Reddit也在本年上半年相继宣告对API接口收费，且价格不菲。此前，这些途径的内容能够被谷歌、OpenAI等公司免费爬取，用作大言语模型的练习库。推特CEO马斯克曾表明，“他们（微软）不合法运用推特的数据来练习，是时分申述他们了。”

随后，三星也注重到了这一现象，并推出了一项新方针，要求职工不得在作业场所运用OpenAI的ChatGPT和谷歌Bard等生成式人工智能。据三星称，4月时一名工程师将内部源代码上传到ChatGPT后，意外泄漏了内部源代码。这让三星忧虑其数据将经过人工智能途径终究落入其他用户手中。因而，三星职工被制止在公司设备上运用人工智能工具，包含电脑、平板电脑、手机等。但职工仍能够在个人设备上运用人工智能工具，不过仅限于与作业无关的作业。

数据是否已成为大模型练习的卡脖子呢？为此，数据猿就相关问题与业界专家进行了交流。

天云数据CEO雷涛表明：这个问题咱们要反思到底子：做大模型仍是喂大模型？现在，大模型能够提炼的语料是敞开的、同享的和免费的。依据凤凰网周刊，ChatGPT 中文材料为0.09905%，比重还缺乏千分之一。假如说蒸汽机是对动力的封装和移动，电是对动力的封装和移动，那么人工智能将是对常识的封装和移动。大模型的常识会成为今后的根底设施，到那个时分其“布道”的到底是“圣经”仍是“诸子百家”，内核差异巨大。所以填充大模型语料才是底子的卡脖子问题。《1984》里有一句话：“谁操控了曩昔，谁就操控了未来；谁操控了现在，谁就操控了曩昔。”这句话运用在大模型数据上彻底切合。

华院计算技能总监杨小东博士以为，现在大模型卡脖子问题首要集中于两方面：

首要，关于详细职业界公司及处理方案供货商来讲，高质量的职业数据确实是一个首要的卡脖子的点。这儿二八规律相同适用，也便是说大模型终究作用怎么，80%是由数据决议的。经过高质量数据对模型进行低本钱微调（PEFT），或许结合Langchain，能够做出各方面体会还不错的职业大模型。但假如数据方面比较单薄，那就只能根据基底模型本身的才干，做些通用的，不痛不养的场景。

其次，从大模型的技能方面来看，为继续进步进步模型功能以及加速工程化落地，预练习模型本身的网络结构立异、Transformer以及Attention的优化、通讯库nccl的优化等技能也是至关重要的，需求在底层根底才干研讨上进行投入，脱节根底研讨方面跟随者的方位。

丰厚、多样的数据能够协助模型更好地舆解言语结构、语义联系和上下文信息。可是，构建高质量的数据集并非易事。

02 数据是大模型练习的柱石

在人工智能范畴的百模大战中，大型言语模型的练习成为了一个要害的竞赛范畴。数据、算法和算力作为大模型练习的三驾马车，在这场竞赛中发挥着至关重要的作用。其间，数据集作为大模型练习的柱石，关于模型功能和立异才干具有要害影响，尤其是数据质量问题更是不行忽视。

现在，大模型的数据一般来自于多个来历，包含以下几种：

其一，揭露数据集。许多范畴都有揭露的数据集，例如ImageNet、MNIST等图画数据集，Wikipedia等文本数据集。这些数据集由研讨组织、学者或许公司敞开，并且是在特定范畴内广泛运用和同享的。揭露数据集是大部分通用大模型的数据集的首要来历。

其二，协作数据同享。许多公司、组织和学者具有一起的数据资源，并乐意与其它人协作同享这些数据资源，以支撑不同范畴的研讨和运用。例如，许多医疗组织会搜集许多的医疗印象数据，这些数据能够用于练习图画剖析或许肺癌检测等使命。这也正是笔神作文所遇到的作业，两边虽为协作目标，但在数据引用上呈现了不合。

其三，大规模的网络数据。当咱们运用大型互联网公司的产品和服务时，公司通常会搜集并存储咱们的数据，包含查找前史、浏览器记载、GPS方位、交际网络等。这些数据能够用来练习大型的言语模型，自然言语处理模型等。国内大模型的数据来历和本身优势事务有较强相关性，百度作为国内查找引擎的龙头企业，其大模型产品文心一言的数据集来历便首要是网络文本、书本、新闻、交际媒体内容、科技论文、语音转录等，这也是其模型练习的优势之一。

其四，数据众包。众包是一种经过向许多的用户或许工人搜集数据来处理问题的办法。经过这种办法，能够快速搜集大规模的数据集，例如图画标示、音频翻译等使命。这些数据集能够用于练习视觉和语音模型等。

OpenAI此前发表，为了AI像人类那样流转攀谈，研制人员给GPT-3.5供给多达45TB的文本语料，相当于472万套我国“四大名著”。这些语料的来历包含维基百科、网络文章、书本期刊等，乃至还将代码开源途径Github归入其间。

近期，国内AI准独角兽企业真实智能的自研笔直范畴大言语模型——TARS（塔斯）历经半年研制后，正式敞开内测！关于其现在练习大模型运用的数据集，真实智能创始人、CEO 孙林君表明，现在的数据来历是多方面的，首要包含揭露的数据集、经典的书本、文档、常识内容、百科、开源的数据集，以及本身事务沉积的数据，假如是笔直大模型协作企业会供给相关的数据集。占的份额来说并不固定，可是肯定是揭露的数据的量最多，练习数据的接入还首要是经过树立数据库的办法。

近期发布多款AIGC产品的HCR慧辰股份CTO、首席数据科学家马亮博士表明：咱们做的是职业的专业数据剖析服务，所以咱们练习聚集于结构职业性AIGC剖析模型，对详细职业的事务智能生成的才干有较高水平要求。因而练习数据中来历外部的数据很少，首要是来自公司长时间各职业服务的范畴数据堆集，大都是根据专家生成的事务数据资源（包含许多的职业揭露数据、专业问卷模板、项目主张书模板、事务剖析陈述模板等）。现在没有接入协作企业的相关数据。

LF AI&DATA基金会董事主席堵俊平曾揭露表明：“AI大模型就像一个贪吃的‘怪兽’，一直需求研讨人员投喂更多的、质量更好的数据。”他说，当时数据简直都是从“在网络上自动搜集”“从第三方购买”“运用揭露数据集”这三个途径得来。在堵俊平看来，从*个途径得到的数据局限性较强，因为版权问题，许多公司只能从其私域取得数据；从第二个途径获取的数据面对数据定价、数据质量等问题；而从第三个途径获取的数据往往只能作为研讨运用，在商用或许其他方面有许多约束。

而职业数据更是非常中心的私域数据，私域数据量越大，质量越高，就越有价值。

就拿本次事情中学而思所练习的笔直职业大模型来看，一个教育公司具有许多教育材料数据，那么它就能开宣布教育笔直大模型类的产品。同理，建筑职业的项目数据、金融职业的用户画像数据、海运职业的船位数据等，都是赋能笔直大模型的要害。

可是这些私域数据都攥在企业自己手中或许协作伙伴的手中，并且为了数据安全和合规，绝大部分组织是要本地化布置才会测验大模型练习，很难幻想企业会把自己的中心数据拿给别人去练习。

03 从“量”到“质”的晋级

假如说前期咱们专心的大模型练习的以“量”为主，到现在，跟着练习的进一步进步，在大模型的数据练习上，“质”将成为之后的必选之路。

因而，怎么合理地给数据打上分级标签、做好标示也非常重要。数据分级分类能够协助产品提效，而高精度的标示数据能够进一步进步大模型的专业体现。但现阶段笔直职业想要获取高精度标示数据的本钱较高，而在揭露数据库中，职业专业数据也较少，因而对笔直大模型的建构提出了很高的要求。

针对现在大模型数据集质量，商汤科技大设备研讨总监何聪辉则表明，大型言语模型对预练习数据质量有很高的要求，这首要体现在流转性、洁净性、常识密布性、安全性。练习数据需求包含许多的正确语法和语义，以使模型能够了解并生成契合言语规矩的文本。流转性直接影响到模型生成的文本是否通畅、易读。洁净性是指预练习数据应该是洁净、准确的，不包含过错、噪声或不一致的信息。模型在练习进程中会学习到数据中的形式和特征，假如数据质量不高，或许会导致模型生成的文本呈现过错、不准确的状况。安全性也是非常重要的一点。言语模型应该恪守必定的品德和法令规范，不生成有害、得罪性或不妥的内容。预练习数据需求经过挑选和审阅，扫除不适宜的内容，以保证模型生成的文本契合社会价值观和品德规范。

真实智能创始人、CEO孙林君则表明，大模型练习对数据质量的要求仍是比较高的，模型练习和模型微调以及报答模型的练习上都要求比较高质量的数据集，多轮交互的数据，生成成果排序的数据质量都会对模型作用有很大影响。关于质量低的揭露数据集要么清洗，要么弃用。一起数据的散布和密度也是决议模型好坏的重要要素，是数据质量的一部分。

GPT对数据质量要求高，而职业AIGC对代表职业了解的数据质量要求更高，这首要体现在两点：高度贴合职业，包含事务的专业深度认知。咱们现在练习的数据，即使是专业范畴堆集的数据，练习前也发现有许多问题，不只包含惯例清洗的问题，更多是职业深度的事务认知方面的问题结构与表达，还有许多要调整的。同一批原始语料，经过不同的清洗和优化办法，在练习后，模型的事务剖析作用便是有差异的。HCR慧辰股份CTO马亮博士如是说。

大型言语模型是具有数十亿到数万亿参数的深度神经网络，被“预练习”于数TB的巨大自然言语语料库上，包含结构化数据、在线图书和其他内容。ChatGPT比较大的打破是在GPT-3呈现时，大约1750亿参数量，数据量为45个TB。

出门问问副总裁李维以为：数据是大模型的燃料，数据的质量很大程度上决议了模型的质量。咱们的数据加强作业首要分两大块，预练习和后续的对齐练习（SFT,RLHF），前者求量，后者重质。预练习的数据，原则上是在坚持多样化和洁净的前提下多多益善。后期练习的对齐数据，尤其是SFT数据，不求量大，只求质量高，要反映对齐作业的多样性以及成份额。文献显现，有些高品质多样性的小数据，也能够在对齐作业中体现杰出。当然，在实践工程完成中，不宜一味寻求SFT对齐的小数据（例如 1000条 - 1万条），过火臃肿的SFT数据（例如千万或以上）并不必定出好模型。这方面的惯例数据加强和对齐练习作业，要从流程化做到快速迭代，大模型的质量进步才干收效。

04 共建同享能否处理大模型练习的数据集问题？

大模型的开发离不开海量数据助力。当时，数据来历的常识产权已经成为大模型开展的阿喀琉斯之踵。归纳上述的学而思和ChatGPT事情来看，首要是触及AI大模型的“数据盗取”行为，有哪些要素能够判别数据被盗取呢？

AI数据抓取案子与近年来司法判定的典型数据抓取案子在本质上没有不同。关于这些案子，需求评判数据抓取行为是否对数据持有者的商业利益和市场竞赛优势构成了危害，是否未经答应运用别人劳动成果，是否违背了商业品德，并且需求考虑抓取数据的合理性和合法性。

运用抓取技能损坏别人市场竞赛优势，具有并存在为自己获取竞赛优势的片面成心，违背诚笃信用原则，打乱竞赛次序的数据抓取行为，或许构成不正当竞赛行为。一起也直接违背了《数据安全法》相关规则。

尤其是针对协作方的数据，假如在协作协议中存在违约职责条款，应依据该条款处理。假如协作协议未触及该状况，则被视为侵权行为，相应的侵权职责将予以承当，包含但不限于赔礼道歉、中止侵权行为、赔偿损失等。

数据和隐私的平衡是大模型运用面对的一个重要问题。怎么在保证数据安全的前提下，维护用户的隐私，是大模型运用需求处理的一个重要问题。现在，隐私计算技能和工业已经成为了平衡数据流转与隐私安全的要害技能途径。

面对这些应战，应该怎么处理数据集卡脖子问题？

一、国家及社会层面。

首要是能够经过立法来保证数据安全。现在日本、英国、欧盟等已对将数据发掘作为合理运用的景象进行了立法承认：日本以“计算机信息剖析”的名义规则了文本数据发掘的著作权破例，英国相同引进文本和数据发掘的版权答应或破例状况。

6月14日，欧洲议会投票经过关于《人工智能法案》的商洽授权草案，意味着该法案将进入欧盟发动监管前的最终阶段。该法案要求OpenAI、谷歌和微软等根底模型的供货商需求揭露，他们在练习模型进程中，是否运用了受版权维护的数据。

此前，国家网信办于本年4月发布的《生成式人工智能服务管理办法（征求意见稿）》也明晰，用于生成式人工智能产品的预练习、优化练习数据，应契合网安法等法令法规的要求，不含有侵略常识产权的内容，包含个人信息的应契合“奉告-赞同”原则等要求，还应保证数据的真实性、准确性、客观性、多样性。

对外经济贸易大学数字经济与法令立异研讨中心履行主任张欣表明，《生成式人工智能服务管理办法（征求意见稿）》已对AI练习数据集的合规要求树立了明晰的结构，在运用著作权和常识产权办法之外，还能够探究运用多种法令手法去完成。

张欣剖析，监管的落地，还存在过后难追溯等问题，尤其在算法复杂度日益攀升、呈现“算法黑箱”等状况下，假如从过后去复原和追溯数据集是否合规，非常依靠大模型开发商供给数据处理记载和日志，很难从外部进行承认。此外，从技能上来说大模型很难准确删去某个用户的个人信息，这就约束了个人信息维护中“删去权”的行使。

其次，经过数据集的共建、同享，来让大模型企业具有愈加丰厚的数据集。

研讨组织和开发者们开端意识到协作与同享的重要性。树立数据集同享途径和协作网络，能够促进数据资源的同享和互补，然后减轻单个团队的数据收集和标示担负。

经过同享数据集，能够取得来自不同来历和范畴的数据，添加数据的多样性。这有助于练习更具广泛运用才干的大模型，习惯不同场景和使命的需求。各方同享数据集，能够充分运用各自的数据资源，防止重复劳动和糟蹋，进步数据运用功率。共建同享形式能够将各方的特长和资源进行有用整合，完成协作共赢。在共建同享形式下，数据收集和运用的危险能够得到分管。各方能够一起拟定数据运用原则和协作协议，明晰数据的权益和职责，削减法令和品德危险。

杨小东博士表明，同享共建数据机制能够对大模型的研讨与落地供给继续助力。当然首要需求平衡好各方的利益，经过行政以及技能等多方面的手法，保证数据的质与量，然后完成真实的价值，构成良性的开展生态。

可是，共建同享形式也面对一些应战和约束：首要，在共建同享形式下，数据的隐私和维护是一个重要的问题。协作方需求保证数据的安全性，拟定隐私维护办法，并恪守相关的法令法规，维护数据所有者的权益；多方参加的共建同享形式需求杰出的协作和谐机制。协作方需求就数据收集、标示、运用等方面进行有用的交流和协作，保证数据集的一致性和质量。最终，在共建同享形式中，触及到数据的权益和利益分配问题。各方需求洽谈和达到一致，拟定公平合理的利益同享机制，以保证各方的权益得到尊重和维护。

二、关于大模型研制企业。

关于大模型研制企业来说，处理数据胶葛问题是至关重要的。首要应该保证在数据收集、运用和存储进程中恪守相关的法令法规，包含数据维护和隐私权规则。拟定明晰的方针和流程，保证数据的合规性和合法性。

其次，与数据供给方、协作伙伴或客户之间树立明晰的合同和协议，明晰数据的权益、运用规模和约束条件。保证两边对数据的运用和同享有明晰的约好，并明晰各方的职责和责任。

当然，在数据收集和运用进程中，进行数据检查和验证，保证数据的来历和合法性。验证数据的准确性、完整性和权威性，并与数据供给方进行交流和承认。

并且，应当采纳恰当的数据安全办法，包含数据加密、拜访操控、数据备份和灾祸康复方案等，以防止数据被盗取、篡改或走漏。保证数据的机密性和完整性得到维护。

一起，主张大模型研制企业寻求专业的法令支撑，特别是在处理数据胶葛或争议时。法令专业人士能够供给有针对性的法令主张和辅导，保证企业在法令结构内处理数据胶葛问题。

遵从诚信和商业品德，在数据收集和运用进程中，秉持诚信和商业品德原则。遵从公平竞赛和互利原则，尊重数据所有者的权益，防止未经授权或歹意运用别人的数据。

大模型研制企业应该注重数据胶葛问题，并采纳相应的办法来处理和防备这些问题。合规和合法性、合同和协议、数据检查和验证、数据安全办法、法令支撑、训练和教育以及诚信和商业品德都是要害的方面，需求在企业的数据管理和运营中得到有用的运用和施行。

三、关于协作方或用户。

数据安全已经是陈词滥调的一件事了。关于大模型协作方，或许运用的用户来说，又应该怎么维护本身的数据安全不受侵略呢？

首要是细心阅读和检查合同，在与大模型研制企业进行协作之前，细心阅读并检查合同条款，特别是关于数据运用和维护的部分。保证合同中包含明晰的数据安全条款，包含数据的保密性、安全性和合规性。

其次，应该约束数据供给规模，在协作进程中，明晰规则数据供给的规模和意图，只供给必要的数据，并约束灵敏信息的发表。保证只要合理需求的数据被运用，削减数据走漏和乱用的危险。在同享数据时，采纳办法维护数据的隐私和匿名性。能够运用数据脱敏技能、数据加密和数据匿名化办法，以削减数据被辨认和相关的或许性。拟定内部危险管理机制，包含监测和应对数据走漏、未经授权拜访等安全事情的方案和流程。树立及时响应和处置数据安全问题的才干。

当然，也需求实时监控数据运用状况，关于同享的数据，主张坚持对数据的监控和盯梢。保证数据的运用契合合同和约好，并监测是否存在反常活动或未经授权的数据拜访。要求协作方或大模型研制企业采纳恰当的数据安全办法，如数据加密、拜访操控、缝隙修正等，以保证数据的安全性和保密性。

最重要的是挑选可信赖的协作伙伴，在挑选协作伙伴时，细心评价其数据安全和隐私维护才干。挑选具有杰出信誉和可信度的企业，了解其数据安全办法和合规性。

总归，无论是作为大模型研制企业仍是协作方或用户，维护数据安全至关重要。数据集作为大模型研制中的要害环节，需求归纳技能、协作伙伴和品德原则的支撑。处理数据集卡脖子问题，才干推进大模型的进一步开展，为人工智能范畴带来更多的立异和运用。