换一批摘要新一代测序因其数据量大、数据处理过程复杂、对计算资源要求高等特点,需要通过云计算进行处理.然而,云计算的处理方式要求先将测序数据上传到云平台中.但由于测序过程的随机性,使得同一样本的两次测序、两个相似样本分别测序后所产生的文件在二进制层面会有较大差别.目前已有的去重方法无法有效识别出这样的"重复"测序文件和测序结果中的"重复"内容.重复上传和存储这些重复数据,不仅消耗网络带宽,而且浪费存储空间.针对现存的重复数据删除方法仅仅基于文件的二进制特征,并未有效利用测序结果数据相似性特点的问题,提出一种面向云平台的海量高通量测序数据近似去重方法NPD(Near Probability Deduplication).该方法对FastQ中的序列和质量信息,使用SimHash计算分块指纹,采用客户端与云平台双布谷过滤器(Cukoo Filter)对指纹值进行快速存在性检测,最后由云平台使用近似算法对指纹值近似去重.实验结果表明,NPD方法在保证高效的同时,大幅提升了去重率,进而减少了网络流量,缩短了数据上传时间,能够支撑海量数据处理,具有良好的实用价值.
更多相关知识
关键词
高通量测序重复数据删除近似去重布谷过滤器high-throughput sequence datadata de-duplicationnear de-duplicationcuckoo filter
分类号
TP311
栏目名称
DOI
10.3778/j.issn.1002-8331.1706-0449
发布时间
2017-12-25（万方平台首次上网日期，不代表论文的发表时间）
- 浏览1
- 被引5
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
