专栏名称: 新语数据故事汇
《新语数据故事汇,数说新语》科普数据科学、讲述数据故事,深层次挖掘数据价值。
目录
相关文章推荐
清廉蓉城  ·  李希在江西调研时强调 ... ·  昨天  
成都发布  ·  热度攀升!绿道骑行火了,重要提醒→ ·  昨天  
成都发布  ·  成都直飞!国际航线上新 ·  昨天  
成都发布  ·  年内开通!13号线一期华西坝站首次亮相 ·  昨天  
51好读  ›  专栏  ›  新语数据故事汇

SmartNotebook功能探秘:低代码数据加工之列操作

新语数据故事汇  · 公众号  ·  · 2024-09-22 20:14

正文

在整个数据生命周期或数据管道(Data Pipeline)中,数据加工扮演着至关重要的角色。数据加工不仅是数据准备的关键环节,也是数据价值挖掘的基础。无论是数据清洗、格式转换,还是数据过滤、合并、聚合等操作,数据加工的每一步都直接影响后续分析、建模和决策的质量。通过有效的数据加工,原始数据可以被转化为高质量、结构化的信息,帮助企业做出精准决策,提升业务效率。特别是在低代码环境下,数据加工变得更加灵活和高效,使得数据工程师、分析师甚至是业务人员都能轻松应对复杂的数据处理任务,为数据驱动的决策提供强有力的支持。

SmartNotebook 实现多种数据加工低代码组件,包括数据过滤、数据列操作、数据Join合并、数据Union合并、数据透视表、数据逆透视。通过这些拖拉拽的实现数据加工基本逻辑,降低数据加工的门槛,提升数据加工的效率。


接下来一段时间我们逐步介绍各个低代码组件的功能和使用方式。我们接着上次《 SmartNotebook功能探秘:低代码数据加工之数据过滤 》、 解锁SmartNotebook新功能:透视(Pivot)与分组(GroupBy)的魔力 继续介绍列操作,下介绍数据的列操作,首先插入单元格中的“更多类型”插入"列操作"单元格 。

插入"列操作"单元格

"列操作"单元格需要选择数据集(DataFrame)作为输入,功能包括列选择(列筛选)、新增列(对列进行加工处理或新增计算指标列),并返回新的数据数据(DataFrame)供后续使用(可视化分析、AI建模)。

数据"列操作"单元格功能说明

数据"列操作"单元格主要操作元素及支持的功能如下:

  1. 选择要数据集:数据集可以加载csv、或SQL单元格执行查询结果。

  2. 结果数据集输出的数据集变量名称:可以后续使用进行可视化或机器学习建模。

  3. 列选择:列筛选,输出指定需要的数据列。

  4. 新增计算列:支持基本算术运算和基于函数的转换/分析、窗口分析函数的指标计算,支持包括聚合函数、窗口函数等600个函数。

支持的函数涵盖了常见的数据操作和处理、分析方法,可广泛应用于数据分析、数据转换操作等场景。包括下列函数分类:

  • Aggregate Functions(聚合函数) :用于对一组值执行计算并返回单一值的函数,例如求和、平均值等。

  • Array Functions(数组函数) :用于操作数组类型数据的函数,如获取数组长度、元素检索等。

  • Bitstring Functions(位串函数) :用于处理位串数据的函数,包括按位操作、转换等。

  • Blob Functions(Blob 函数) :用于操作二进制大对象(Binary Large Object)的函数,如读取、写入 Blob 数据。

  • Date Format Functions(日期格式函数) :用于格式化日期为特定格式的函数。

  • Date Functions(日期函数) :处理日期类型数据的函数,包括获取当前日期、日期加减等。







请到「今天看啥」查看全文