内部函数

toft style path

向Pipeline添加一个目录，使得该目录下的文件/子目录能够在运行期被访问 Args: dir_path (str): 需要添加的本地目录路径 resource_path (str): 计算引擎运行时访问该目录的路径,

根据字段，返回一个SchemaPCollection Args: fields: 类型可以是，tuple，list，dict； 当fields是tuple或list时, 会判断每个元素的类型：

Persist this PType on storage.

deserialize

取第一个元素 Returns: PObject: 表示结果的PObject >>> p.parallelize([3, 7, 1, 3, 2, 8]).first.get() 3

取前n大元素，等同于 :func:`bigflow.transforms.max_elements(self, n, key) <bigflow.transforms.max_elements>` Args: n

得到输入PCollection中最小的元素 Args: pcollection (PCollection): 输入PCollection key (function, optional): 用于提取key的函数，与Python内置``min()``中的

inner fun

内部接口

TODO(wenxiang): use memory pool to void frequently new and delete.

内部函数 ensure_keep_group的话，则返回至少发一条数据给reduce，确保每个group都保留着。 否则，依赖于其它结点产生group。

内部函数 在 join，left_join，right_join，full_join后将结果进行合并 例如： left_join后的结果为 [({'clicknum': 2, 'websites': 'a'}, {'click': 9, 'websites'

内部函数

将PObject转为PCollection Returns: PCollection: 变换结果

用户可以重写该方法。

返回与另一个PCollection中不相同的元素 Args: other (PCollection): 另一个PCollection Returns: PCollection: 表示结果的PCollec

元素去重，等同于 :func:`bigflow.transforms.distinct(self) <bigflow.transforms.distinct>` Args: **options: 可配置选项

等同于 :func:`bigflow.transforms.foreach(self, fn, *side_inputs, **options) <bigflow.transforms.foreach>` Args:

Wraps console command 'hadoop fs -rmr <path>' Args: path (str): path to be removed

与其他PCollection做全连接操作，等同于 :func:`bigflow.transforms.full_join(self, other, *others) <bigflow.transforms.full_join>` A

get n elements

get_args

Return all fields and corresponding types of FieldsDict

与其他PCollection做左连接操作，等同于 :func:`bigflow.transforms.left_join(self, other, *others) <bigflow.transforms.left_join>` A

取前n小元素，等同于 :func:`bigflow.transforms.min_elements(self, key) <bigflow.transforms.min_elements>` Args: n (i

对于给定的PCollection/PTable，返回通过command处理后的PCollection Args: pvalue (PCollection/PTable): 输入 command: 命令行 **options: 可配置选项

与其他PCollection做右连接操作，等同于 :func:`bigflow.transforms.right_join(self, other, *others) <bigflow.transforms.right_join>`