改進(jìn)的FP—GrOWTH算法及其分布式并行實(shí)現(xiàn)

馬月坤　劉鵬飛　張振友　孫燕　丁鐵凡

摘要：針對(duì)傳統(tǒng)FP-Growth算法在大規(guī)模數(shù)據(jù)環(huán)境下挖掘效率低下的問(wèn)題，提出了一種改進(jìn)的FP-Growth算法。該算法主要是通過(guò)基于頻繁閉項(xiàng)集策略對(duì)完備模式樹(shù)進(jìn)行剪枝進(jìn)而減小搜索空間規(guī)模，達(dá)到提高算法挖掘效率的目的。并將改進(jìn)后的FP-Growth算法的分治策略與分布式計(jì)算框架Hadoop的MapReduce編程模式有機(jī)結(jié)合，進(jìn)一步提高了大數(shù)據(jù)環(huán)境下的挖掘效率。實(shí)驗(yàn)證明，基于Hadoop的改進(jìn)FP-Growth算法的效率較傳統(tǒng)FP-Growth算法有所提高。endprint