在整个数据生命周期或数据管道(Data Pipeline)中,数据加工扮演着至关重要的角色。数据加工不仅是数据准备的关键环节,也是数据价值挖掘的基础。无论是数据清洗、格式转换,还是数据过滤、合并、聚合等操作,数据加工的每一步都直接影响后续分析、建模和决策的质量。通过有效的数据加工,原始数据可以被转化为高质量、结构化的信息,帮助企业做出精准决策,提升业务效率。特别是在低代码环境下,数据加工变得更加灵活和高效,使得数据工程师、分析师甚至是业务人员都能轻松应对复杂的数据处理任务,为数据驱动的决策提供强有力的支持。
SmartNotebook 实现多种数据加工低代码组件,包括数据过滤、数据列操作、数据Join合并、数据Union合并、数据透视表、数据逆透视。通过这些拖拉拽的实现数据加工基本逻辑,降低数据加工的门槛,提升数据加工的效率。
接下来一段时间我们逐步介绍各个低代码组件的功能和使用方式。我们接着上次《
SmartNotebook功能探秘:低代码数据加工之数据过滤
》、
《
解锁SmartNotebook新功能:透视(Pivot)与分组(GroupBy)的魔力
》
继续介绍列操作,下介绍数据的列操作,首先插入单元格中的“更多类型”插入"列操作"单元格 。
插入"列操作"单元格
"列操作"单元格需要选择数据集(DataFrame)作为输入,功能包括列选择(列筛选)、新增列(对列进行加工处理或新增计算指标列),并返回新的数据数据(DataFrame)供后续使用(可视化分析、AI建模)。
数据"列操作"单元格功能说明
数据"列操作"单元格主要操作元素及支持的功能如下:
-
选择要数据集:数据集可以加载csv、或SQL单元格执行查询结果。
-
结果数据集输出的数据集变量名称:可以后续使用进行可视化或机器学习建模。
-
列选择:列筛选,输出指定需要的数据列。
-
新增计算列:支持基本算术运算和基于函数的转换/分析、窗口分析函数的指标计算,支持包括聚合函数、窗口函数等600个函数。
支持的函数涵盖了常见的数据操作和处理、分析方法,可广泛应用于数据分析、数据转换操作等场景。包括下列函数分类:
-
Aggregate Functions(聚合函数)
:用于对一组值执行计算并返回单一值的函数,例如求和、平均值等。
-
Array Functions(数组函数)
:用于操作数组类型数据的函数,如获取数组长度、元素检索等。
-
Bitstring Functions(位串函数)
:用于处理位串数据的函数,包括按位操作、转换等。
-
Blob Functions(Blob 函数)
:用于操作二进制大对象(Binary Large Object)的函数,如读取、写入 Blob 数据。
-
Date Format Functions(日期格式函数)
:用于格式化日期为特定格式的函数。
-
Date Functions(日期函数)
:处理日期类型数据的函数,包括获取当前日期、日期加减等。