首页 > AI资讯 > 最新资讯 > FakeItuntilYouMakeIt:数据合成技术,LLM时代的「血液提供商」

FakeItuntilYouMakeIt:数据合成技术,LLM时代的「血液提供商」

新火种    2024-04-15

以上是研究机构Gartner的最新预测。

它指出,许多公司已经开始使用合成数据来训练AI模型,填补真实数据的不足,同时应对数据稀缺和隐私问题。

去年11月,一篇发表在Nature杂志上的研究也表明使用合成数据替代真实医疗保健数据的有效性。

Fake It until You Make It:数据合成技术,LLM时代的「血液提供商」

合成数据和表格合成数据

何为合成数据(Synthetic Data)?

它是通过算法、统计模型或生成人工智生成的数据,而非真实的观测数据。

为了生成一组合成数据,需要通过算法分析原始数据从而得到原始数据中的特征分布、特征之间的关联以及特征规律等要素,再进行生成。

总的来说,合成数据具有以下优势:

可控性强:可根据需要控制数据的生成规则、分布特征等 ,控制合成数据部分特征;数据量大:可快速生成大量的数据;隐私保护:不涉及真实个人信息,避免隐私泄露的潜在风险。

那么,何为表格合成数据(Taublar Synthetic Data)?

表格合成数据是结构化的数据,具有明确的列和行,适用于需要处理大量结构化数据的情况。

相比之下,其他合成数据可能是非结构化的文本、图像或音频数据,处理起来更为复杂。

表格合成数据可以更容易地模拟真实世界中的业务场景和数据分布。

实际业务中,许多公司需要处理大量的结构化数据,如销售数据、客户信息、财务报表等。通过使用表格合成数据,这些公司可以更快地构建和训练AI模型。

为何使用合成数据?

在数据驱动的时代,真实数据在数据分析应用中的价值和效果是显著的,但收集真实数据不仅费时费力,而且成本高昂。

另外,使用真实数据进行分析并公开结果可能引发数据泄露问题,甚至法律纠纷等问题。

即使数据经过脱敏处理,现代攻击手段如数据推断攻击、数据重构攻击等仍可能恢复出敏感信息。

来自哈工大(深圳)数据安全研究院的研究人员注意到,通过使用合成数据就是一种规避手段。在某些情况下,它比现实世界中的同类产品更安全、更便宜、同样有效:

首先,更安全。

合成数据不存在现实世界数据的错误或隐私泄漏问题,可以自由共享且不会损害用户隐私

其次,更便宜。

合成数据还可以定制化地按照规则进行大规模生成。

再者,同样有效。

来自数据安全研究院的研究人员创建了一组开源组件(合成数据生成器,SDG),并由研究院的数据科学家、工程师研发了一系列配套的算法,研究人员发现,在超过80%的实际测试中,合成数据可以媲美真实数据的效果。

表格合成数据的典型应用场景Fake It until You Make It:数据合成技术,LLM时代的「血液提供商」

合成数据的有以下典型应用场景:

数据集不平衡:通过控制合成数据的标签、特征比例,可以有效解决数据不平衡问题;

数据脱敏:传统数据脱敏场景中,采用遮盖方法屏蔽关键信息,会显著降低数据质量,且仍存在隐私泄漏风险,使用数据合成技术替换脱敏技术,可以有效提升数据质量,并规避隐私风险。

政务数据开放:和数据脱敏场景类似,合成数据可以最大限度避免数据开放所带来的隐私泄漏风险。

AI模型训练:合成数据已经大量用于AI模型训练,用于应对数据的不足,数据稀缺,隐私等问题。

业务系统测试:合成数据可以模拟真实数据的情况,帮助测试人员在不接触真实数据的情况下进行测试,提高测试效率和准确性。

专用于表格数据合成的开源组件

合成数据生成器(Synthetic Data Generator,SDG)是由哈工大(深圳)刘川意教授团队开源的一款专注于结构化表格数据快速生成的组件。目前在GitHub上关注度已有1.8K stars,并已有多位Contributor。

SDG支持多种模型,并针对执行速度、内存等方面进行专门优化,例如:合成数据生成器处理千万级别数据,这是当前其他数据合成组件做不到的。

Fake It until You Make It:数据合成技术,LLM时代的「血液提供商」

此外,合成数据生成器还集成了使用大模型的仿真技术生成模型,通过学习原始数据或者表格的元数据,LLM模型能够生成符合自然世界基本特点的数据表,与现有模型相比,这种方法支持无原始数据的合成数据生成,不需要进行繁琐的特征工程,仅凭原始数据表格的元数据(metadata)来快速生成数据表,节省了大量的时间和人力成本。

其示例如下图所示:

Fake It until You Make It:数据合成技术,LLM时代的「血液提供商」

此外,合成数据生成器还支持表外特征的自动推断,通过学习数据表的元数据和用户提供的表外特征信息,大语言模型根据数据表的元数据和其所掌握的知识,生成高质量的表外特征数据。

例子如下:

Fake It until You Make It:数据合成技术,LLM时代的「血液提供商」

合成数据生成器团队还将持续维护组件,保持对工业界、学术界的最新情况追踪,适时增加新的模型;同时会根据Issue 以及实际业务需求情况,持续添加新特性以满足业务要求。

下一步,团队将进一步推出基于大模型微调的数据合成模型。

SDG使用Apache-2.0开源协议,并设有微信技术交流群和 Slack 交流群,欢迎开发者进行使用、反馈,提出建议。

相关推荐
免责声明
本文所包含的观点仅代表作者个人看法,不代表新火种的观点。在新火种上获取的所有信息均不应被视为投资建议。新火种对本文可能提及或链接的任何项目不表示认可。 交易和投资涉及高风险,读者在采取与本文内容相关的任何行动之前,请务必进行充分的尽职调查。最终的决策应该基于您自己的独立判断。新火种不对因依赖本文观点而产生的任何金钱损失负任何责任。