Đình Phú Hữu được xây dựng vào khoảng thế kỷ 19, Đình thờ phụng Đức Cao Sơn thánh Tản Viên thượng đẳng Đại vương; Đức Linh Lang thánh thượng đẳng Đại vương; Đức Quang Minh thánh thượng đẳng Đại vương. Tương truyền, Cao Sơn và Quý Minh là 2 anh em, được nhà vua phong quan. Sau này Tản viên và Cao Sơn chỉ huy các đạo quân tiến đánh tiêu diệt hàng ngàn quân địch đưa đất nước trở lại thanh bình. Vua ban chiếu “Hồi công khánh hạ” phân phong tướng sĩ. Cao Sơn có công lớn được phong về nơi ấp cũ, liền mang theo vàng bạc vua ban cùng dân khai phá ruộng đồng, cùng dân hưởng lộc đến khi qua đời. Còn Quý Minh được phong hầu và khi qua đời dân lập Đền thờ để ghi công tích.

Tại buổi lễ, địa phương đã thực hiện nghi lễ tế nam hội lão, dâng hương hoa trà quả tưởng niệm lên Vua Hùng và các bậc tiền nhân đã có công phò Vua, dẹp giặc, bảo vệ giang sơn bờ cõi, làm rạng rỡ Tổ tông, non sông đất nước, cùng với đó, đội tế nữ đã làm lễ tại Đình Mẫu, cầu mong cho một năm mưa thuận gió hòa, quốc thái dân an.