Function select

bigflow_python/python/bigflow/schema.py:251–369 · view source on GitHub ↗

对每条数据选择一些字段进行变换 Args: pcollection (SchemaPCollection): 输入数据集SchemaPCollection(用来表示结构化的, 带字段的PCollection), 可以当作每个元素是一个dict的PCollection来用 select_fn (callable): 一个函数，表示每条记录要进行什么样的变换，该函数将传入一个dict类型的参数，dict的key是所有的字段名，每个value是一个PObject，表示本条记录中该字段的数据。用户需要返回一

(pcollection, select_fn, *args)

Source from the content-addressed store, hash-verified

source not stored for this graph (policy: none)

Callers 1

updateFunction · 0.70

Calls 12

_str_to_listFunction · 0.85

_transform_schema_pcollectionFunction · 0.85

wrapper_of_udfFunction · 0.85

_is_tuple_serdeFunction · 0.85

flatten_valuesMethod · 0.80

apply_valuesMethod · 0.80

_get_fieldsMethod · 0.80

ofFunction · 0.70

mapMethod · 0.45

getMethod · 0.45

serdeMethod · 0.45

applyMethod · 0.45

Tested by

no test coverage detected