|
Post by account_disabled on Feb 12, 2024 4:19:42 GMT -5
训练集、验证集和测试集中的样本必须保持相互独立。 这意味着,每个集合中的数据是独一无二的,不会与其他集合的数据交叉重叠,让模型在评估过程中的表现不会受到其他集合数据的影响。这种独立性确保了评估结果的真实性和有效性。 5. 保证数据质量和代表性 为了确保模型在不同阶段的学习和评估过程中能够获得准确和可靠的结果,训练集、验证集和测试集都需要能够代表原始数据的整体特性,同时还需保证数据质量。 这意味着它们都应该包含所有可能的数据特征和类别,以便模型能够在不同的数据集上都能学习到有效的模式,提高其泛化能力。 关于什么样的数据集算得上高质量,什么样的数据集属于具有代表性,我在《AI届的英雄好汉“训练集、验证集、测试集”各显神通!》中有详细介绍,感兴趣的朋友可以进一步阅读。 整体而言,我们从训练集、验证集和测试集的不同与相似之中可以发现,它们在机器学习的模型训练中是紧密相连的。 如果拿它们的关系举例的话。 训练集相当于课后的练习题,用于日常的知识巩固。 验证集相当于平时的周考月考,用来纠正和强化学到的知识。 测试 新加坡电报号码 集相当于期末考试,用来最终评估学习效果。 它们各司其职,共同保障了模型的有效学习结果和泛化能力。 三、国内AI数据集的现状与挑战 AI行业经过2023年一整年的喧嚣与热闹之后,大模型之间的“卷”也走向了高潮,国外有OpenAI的GPT-4、DALL-E,Meta的LLaMA 2等,国内有阿里的通义千问,百度的文心一言,百川智能的百川大模型等。 但实际上,AI应用的成功案例并不多,这表明AI落地的部分仍不明确,需要进一步的探索和创新。为了适应更多细分的落地场景,大模型之间这股“卷”的浪潮也将逐步带起一堆小模型之间的竞争。 “王侯将相宁有种乎”,AI的风吹起来了,更多的创业者和普通大众的机会来了,挖掘适合自己或者某个细分行业的小模型、小gpt,恐怕是2024年的主旋律了。 毕竟,“不管白猫黑猫,抓住老鼠就是好猫”。不管大模型小模型,能挣到钱的就是好模型。 但最关键的是,好模型离不开好数据,好的数据集对模型的成功至关重要。它能提升模型的精确度,让模型能更准确地预测或分类。 同时,好的数据集还能增强模型的可解释性,使我们更容易理解模型的决策过程。也有助于模型更快地收敛到最优解,这意味着模型的训练时间将大大缩短,这背后也意味着的,是实打实的效率和成本,是核心竞争力。
|
|