道光年初(约西年1820年)大众爷祠便已经有小祠了，於光绪年初(约西元1875年)重修庙祠。庙旁大樟树据文献记载树龄约已经有七百馀年了，当地民众将它视同神明祭拜，称呼老樟树为樟树公。民国六十九年时大众爷祠再次修建完成，并将在樟树公树下的香炉正式的移入大众爷祠左半边供奉。每年农历八月二十三日为樟树公千秋，因此到此叁拜的民众不计其数。