分享到微信

打开微信，点击底部的“发现”，
使用“扫一扫”即可将网页分享至朋友圈。

现场演示：大模型可用语料的数据清洗过程 | 数新风

第一财经2023-06-26 22:20:58

作者：韩露阳 ▪ 武德胜责编：韩露阳

数据作为AI的营养来源，其获取的便利性和质量直接决定了AI大模型的性能。尽管AI大模型对大量高质量数据的需求迫切，但数据采集、整理和清洗的过程复杂且耗时。上海交通大学约翰霍普克罗夫特计算机科学中心博导林洲汉现场演示如何把一个普通的文本，进行一些处理之后，成为可以提供给大模型进行训练的语料。

韩露阳

武德胜

2025全球数商大会上，上海卓繁信息技术股份有限公司总裁张琦在接受第一财经记者采访时表示，数据是AI大模型行业应用不可或缺的基石，当前行业核心挑战在于数据杂乱、高质量数据供给不足，而从事数据标注、清洗及高质量数据集建设的企业将拥有广阔市场空间。

一财最热