换一批基于二维划分的杰卡德相似系数批量计算效率优化
Efficiency Optimization of Jaccard's Similarity Coefficient Based on Two Dimensional Partition
摘要随着互联网用户及内容的指数级增长,大规模数据场景下的杰卡德相似系数计算对算法的效率提出了更高的要求.为提高算法的执行效率,对MapReduce架构下的算法执行缺陷进行了分析,结合Spark适用于迭代型及交互型任务的特点,基于二维划分算法将算法从MapReduce平台移植到Spark平台;并通过参数调整、内存优化等方法进一步提高了算法的执行效率.两组数据集分别在3组不同规模的集群上的实验结果表明,与MapReduce相比,Spark平台下的算法执行效率提高了4倍以上,能耗效率提升了3倍以上.
更多相关知识
分类号
TP393.09
栏目名称
DOI
10.11896/j.issn.1002-137X.2017.01.042
发布时间
2017-04-10（万方平台首次上网日期，不代表论文的发表时间）
基金项目
国家自然科学基金（61562078,61262088,71261025）
新疆财经大学博士启动基金（2015BS007）
- 浏览2
- 被引5
- 下载0
相似文献
- 中文期刊
- 外文期刊
- 学位论文
- 会议论文
