MCPcopy Create free account

hub / github.com/daoqidelv/filespilt-demo / types & classes

Types & classes34 in github.com/daoqidelv/filespilt-demo

ClassConstants
src/main/java/com/daoqidlv/filespilt/Constants.java:3
ClassDisruptorMaster
消费者生产者模式+Disruptor作为线程间数据交换的通道, 多线程读+多线程写+NIO, 大幅提升性能 启动参数:D:\temp test.csv 10 PRODUCERCONSUMER 24 8 20480 @author Administrator
src/main/java/com/daoqidlv/filespilt/disruptor/DisruptorMaster.java:31
ClassFileLine
文件中的一行,作为读/写任务的最小执行单元。 @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/FileLine.java:10
ClassFileLine
文件中的一行,作为读/写任务的最小执行单元。 @author Administrator
src/main/java/com/daoqidlv/filespilt/disruptor/FileLine.java:10
ClassFileLineEventFactory
src/main/java/com/daoqidlv/filespilt/disruptor/FileLineEventFactory.java:5
ClassFileLineEventHandler
src/main/java/com/daoqidlv/filespilt/disruptor/FileLineEventHandler.java:10
ClassFileLineThreadFactory
src/main/java/com/daoqidlv/filespilt/disruptor/FileLineThreadFactory.java:6
ClassFileReadTask
文件读取任务 @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/FileReadTask.java:18
ClassFileReadTask
文件读取任务 @author Administrator
src/main/java/com/daoqidlv/filespilt/disruptor/FileReadTask.java:19
ClassFileReadTaskTest
src/test/java/com/daoqidlv/filespilt/mutil/FileReadTaskTest.java:20
ClassFileReadThreadFactory
src/main/java/com/daoqidlv/filespilt/mutil/FileReadThreadFactory.java:6
ClassFileReadThreadFactory
src/main/java/com/daoqidlv/filespilt/disruptor/FileReadThreadFactory.java:6
ClassFileSpiltter
文件拆分期,只支持单线程操作 @author daoqidelv @CreateDate 2017年5月4日
src/main/java/com/daoqidlv/filespilt/FileSpiltter.java:15
ClassFileWriteTask
文件写入任务。 将文件内容写入到子文件中,写入时完成子文件自动生成和切换。 子文件一次性写入,使用NIO写入 @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/FileWriteTask.java:23
ClassFileWriteTask
文件写入任务类,记录每个文件写入任务信息,且完成文件写入。 @author daoqidelv @CreateDate 2017年5月4日
src/main/java/com/daoqidlv/filespilt/single/normal/FileWriteTask.java:18
ClassFileWriteTask
文件写入任务。 将文件内容写入到子文件中,写入时完成子文件自动生成和切换。 子文件一次性写入,使用NIO写入 @author Administrator
src/main/java/com/daoqidlv/filespilt/disruptor/FileWriteTask.java:23
ClassFileWriteTask_writeAll_fos
文件写入任务。 将文件内容写入到子文件中,写入时完成子文件自动生成和切换。 子文件一次性写入,使用FileOutputStream写入 @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/FileWriteTask_writeAll_fos.java:26
ClassFileWriteTask_writeLine_fos
文件写入任务。 将文件内容写入到子文件中,写入时完成子文件自动生成和切换。 子文件逐行写入,使用FileOutputStream @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/FileWriteTask_writeLine_fos.java:26
ClassFileWriteTask_writeLine_nio
文件写入任务。 将文件内容写入到子文件中,写入时完成子文件自动生成和切换。 子文件逐行写入,使用NIO TODO 存在功能上的缺陷:由于预先分配好了ByteBuffer的大小,当文件内容不足时,会存在很多空NUL的字节,使得文件内容失真。 @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/FileWriteTask_writeLine_nio.java:25
ClassFileWriteTask_writeLine_nio
文件写入任务。 将文件内容写入到子文件中,写入时完成子文件自动生成和切换。 子文件逐行写入,使用NIO TODO 存在功能上的缺陷:由于预先分配好了ByteBuffer的大小,当文件内容不足时,会存在很多空NUL的字节,使得文件内容失真。 @author Administrator
src/main/java/com/daoqidlv/filespilt/disruptor/FileWriteTask_writeLine_nio.java:25
ClassFileWriteThreadFactory
src/main/java/com/daoqidlv/filespilt/mutil/FileWriteThreadFactory.java:6
ClassFileWriteThreadFactory
src/main/java/com/daoqidlv/filespilt/disruptor/FileWriteThreadFactory.java:6
ClassForkFileReadTask
ForkJoinTask @author daoqidelv @CreateDate 2017年5月4日
src/main/java/com/daoqidlv/filespilt/single/forkjoin/ForkFileReadTask.java:20
ClassForkFileWriteTask
文件写入任务类,记录每个文件写入任务信息,且完成文件写入。 @author daoqidelv @CreateDate 2017年5月4日
src/main/java/com/daoqidlv/filespilt/single/forkjoin/ForkFileWriteTask.java:19
ClassForkJoinPoolMaster
java编程实现: CSV文件有8GB,里面有1亿条数据,每行数据最长不超过1KB, 目前需要将这1亿条数据拆分为10MB一个的CSV写入到同目录下, 要求每一个CSV的数据必须是完整行,所有文件不能大于10MB。 服务器配置:4核CPU、10GB物理内存,请给出虚拟机的大致内存配置 @autho
src/main/java/com/daoqidlv/filespilt/single/forkjoin/ForkJoinPoolMaster.java:21
ClassGenBigFile
生成大文件 @author Administrator
src/test/java/com/daoqidlv/filespilt/GenBigFile.java:12
ClassMaster
java编程实现: CSV文件有8GB,里面有1亿条数据,每行数据最长不超过1KB, 目前需要将这1亿条数据拆分为10MB一个的CSV写入到同目录下, 要求每一个CSV的数据必须是完整行,所有文件不能大于10MB。 服务器配置:4核CPU、10GB物理内存,请给出虚拟机的大致内存配置 @autho
src/main/java/com/daoqidlv/filespilt/Master.java:19
ClassMutilThreadReadMaster
消费者生产者模式, 多线程读+多线程写+NIO, 大幅提升性能 启动参数:D:\temp test.csv 10 PRODUCERCONSUMER 24 8 20480 @author Administrator
src/main/java/com/daoqidlv/filespilt/mutil/MutilThreadReadMaster.java:23
ClassNormalPoolMaster
java编程实现: CSV文件有8GB,里面有1亿条数据,每行数据最长不超过1KB, 目前需要将这1亿条数据拆分为10MB一个的CSV写入到同目录下, 要求每一个CSV的数据必须是完整行,所有文件不能大于10MB。 服务器配置:4核CPU、10GB物理内存,请给出虚拟机的大致内存配置 @autho
src/main/java/com/daoqidlv/filespilt/single/normal/NormalPoolMaster.java:32
ClassTaskAllocater
src/main/java/com/daoqidlv/filespilt/mutil/TaskAllocater.java:14
ClassTaskAllocaterTest
src/test/java/com/daoqidlv/filespilt/mutil/TaskAllocaterTest.java:19
ClassTest
src/main/java/com/daoqidlv/filespilt/Test.java:4
ClassUtil
src/main/java/com/daoqidlv/filespilt/Util.java:5
ClassWriteFileTask
src/test/java/com/daoqidlv/filespilt/GenBigFile.java:23