Theo Ngọc phả truyền lại ở Đình Phú Hữu ghi lại rằng, vào thời Hùng Vương thứ 18 ở trang Minh Nông có hai vợ chồng là Nguyễn Cao Ban và vợ là Tạ Thị Hoan tìm đến đạo Sơn Tây huyện Hạc trì làm nghề đốn củi. Ông bà vốn hiền lành ăn ở phúc hậu song mãi không có con, đêm ngày khấn Phật cầu trời để có đứa con vui tuổi già. Sau bà có thai sinh đôi hai người con trai, người anh tên là Cao Sơn, người em tên là Quý Minh. Lớn lên hai anh em tham gia ứng thi để nhà Vua chọn nhân tài. Hai anh em đều trúng tuyển và được nhà vua phong quan. Sau này Tản viên và Cao Sơn chỉ huy các đạo quân tiến đánh tả xung hữu đột thừa thắng đã tiêu diệt hàng ngàn quân địch, đất nước trở lại thanh bình. Vua ban chiếu “Hồi công khánh hạ” phân phong tướng sĩ. Cao Sơn có công lớn được phong về nơi ấp cũ. Cao Sơn liền mang theo vàng bạc vua ban cùng dân khai phá ruộng đồng, cùng dân hưởng lộc đến khi qua đời. Còn Quý Minh được phong hầu và khi qua đời dân lập Đền thờ để ghi công tích.

Kiến trúc Đình Phú Hữu được xây dựng từ khoảng đầu thế kỷ 19. Được tu tạo nhiều lần, lớn nhất là vào năm Khải Định thứ 9 (tức năm 1924) . Đình kiến trúc theo kiểu nhà khung gỗ truyền thống, thượng giường hạ bảy, lợp ngói vẩy. Các kỹ thuật xây dựng dân gian được sử dụng một cách triệt để trong công trình.

Đình Phú Hữu thuộc loại hình di tích lịch sử, văn hóa xét trên hai phương diện. Về lịch sử đình thờ các tướng lĩnh của vua Hùng làm thần thành hoàng. Đó là những nhân vật lịch sử của thời đại Hùng Vương. Vị trí và ý nghĩa của nhân vật lích sử được thờ ở đình có nhiều yếu tố truyền thuyết và huyền thoại nhưng vẫn phần nào phản ánh hiện thực lịch sử của buổi đầu thời dựng nước.

Đình Phú Hữu đã được công nhận là Di tích lịch sử văn hóa cấp Tỉnh năm 1997./.