什么是数据准备

数据准备是准备原始数据以使其适合进一步处理和分析的过程。该过程的主要步骤包括收集、清洗原始数据并将其标注为适合机器学习（ML）算法的形式，然后探索和可视化数据。

一、什么是数据准备？

数据准备是准备原始数据以使其适合进一步处理和分析的过程。该过程的主要步骤包括收集、清洗原始数据并将其标注为适合机器学习（ML）算法的形式，然后探索和可视化数据。数据准备过程可能会占用 ML 项目所花费时间的 80%。使用专门的数据准备工具有助于优化此过程。

二、ML 和数据准备有什么联系？

数据以前所未有的方式在组织中流动，从智能手机到智慧城市，数据以结构化数据和非结构化数据（图片、文档、地理空间数据等）的形式呈现。如今，非结构化数据占数据总量的 80%。ML 不仅可以分析结构化数据，还可以发现非结构化数据中的模式。ML 是计算机学习解释数据并基于该数据做出决策和给出建议的过程。在学习过程中，以及后来用于预测时，不正确、有偏见或不完整的数据会导致不准确的预测。

三、为什么数据准备对 ML 很重要？

数据为 ML 提供动力。利用这些数据重塑您的业务虽然具有挑战性，但对于现在和未来都有重要意义。这是最见多识广者的生存之道，那些能够利用数据做出更好、更明智决策的人能够更快地应对意外并发现新机遇。这个重要而繁琐的过程是建立准确的 ML 模型和分析的先决条件，也是 ML 项目中最耗时的部分。为了最大限度地减少这种时间投入，数据科学家可以使用各种工具，以各种方式帮助自动进行数据准备。

四、如何准备数据？

数据准备遵循一系列步骤，从收集正确的数据开始，接着是清洗、标注，然后是验证和可视化。

1、收集数据

收集数据是收集 ML 所需的所有数据的过程。数据收集可能很繁琐，因为数据驻留在许多数据来源中，包括笔记本电脑、数据仓库、云中、应用程序内部和设备上。寻找连接到不同数据来源的方法可能很有挑战性。数据量也呈指数级增长，因此需要搜索大量数据。此外，根据数据来源的不同，数据的格式和类型也有很大不同。例如，视频数据和表格数据不容易一起使用。

2、清洗数据

作为确保数据质量的一个步骤，清洗数据可以纠正错误并填充缺失的数据。有了干净的数据后，您需要将它转换成一致、可读的格式。这个过程可能包括更改日期和货币等字段格式、修改命名约定以及更正值和度量单位，使它们保持一致。

3、标注数据

数据标注过程用于识别原始数据（图片、文本文件、视频等）并添加一个或多个有意义的信息标签以提供上下文，从而使 ML 模型能够从它进行学习。例如，标签可指示照片是否包含鸟或汽车、录音中有哪些词发音，或者 X 影像是否发现了异常。各种使用案例都需要用到数据标注，包括计算机视觉、自然语言处理和语音识别。

4、验证和可视化

清洗和标注数据之后，ML 团队通常需要探索数据以确保数据正确并为 ML 做好准备。直方图、散点图、箱线图、折线图和条形图都是确认数据是否正确的有用工具。此外，可视化还有助于数据科学团队完成探索性数据分析。这个过程使用可视化来发现模式、识别异常、测试假说或检查假设。探索性数据分析不需要正式建模；相反，数据科学团队可以使用可视化来解读数据。