Sử xưa chép rằng: Hồ Hưng Dật vốn người Triết Giang, đậu Trạng nguyên thời Hậu Hán, được cử sang làm Thái thú Diễn Châu (nay thuộc 3 huyện: Yên Thành, Diễn Châu, Quỳnh Lưu). Ông là người có nhiều đóng góp cho mảnh đất này nên khi mất, được nhân dân nhiều nơi lập đền thờ. Ông cũng chính là người hình thành nên một dòng họ trâm anh thế phiệt ở Việt Nam.

Năm 1403, vua Hồ lúc bấy giờ là Hồ Hán Thương (1338-1407) đã cho lập một ngôi đền để thờ nguyên tổ Hồ Hưng Dật và các bậc tiên liệt của ông. Về sau, khi vua Hồ Quý Ly, Hồ Hán Thương và Bạch Y công chúa (con gái của Hồ Quý Ly) mất, nhân dân và con cháu dòng họ Hồ đã đưa các vị vào phối thờ tại đền. Tên gọi đền Vua Hồ cũng có từ đó.

Nguyên xưa, ngôi đền có quy mô rất lớn, bố cục theo kiểu “nội công ngoại quốc”, gồm nhiều công trình như: Bái đường, Hạ điện, Trung điện, Thượng điện, Tả vu, Hữu vu, gác chuông, gác trống...Trải qua biến thiên của lịch sử, thiên tai và chiến tranh, các công trình của đền lần lượt bị vùi lấp. Đến năm 2005, đền mới được phục dựng trên nền đất cũ.

Trong quá trình đào móng để phục dựng các công trình, người dân địa phương và con cháu đã phát hiện nhiều dấu tích còn lại của ngôi đền xưa như chân tảng bằng đá, gạch lát nền, ngói, đá bậc thềm, đầu rồng đá…

Các hiện vật của đền bị phát tán nhiều nơi, một số được đưa về Bảo tàng Nghệ An, một số đưa về phòng Truyền thống của huyện Quỳnh Lưu, một số được các gia đình trong vùng hoặc con cháu cất giữ. Ngay khi công trình hoàn thành và đưa vào sử dụng, vì nhiều lý do, một số hiện vật quý đã được các gia đình trả lại cho đền.

Trong số các hiện vật ấy, chúng tôi ấn tượng nhất là các viên gạch lát nền bởi màu sắc tươi sáng và hoa văn trang trí độc đáo, bắt mắt. Gạch được làm bằng đất nung, có kích thước 38cm x 38cm, dày 8cm, tổng cộng có 10 viên, trong đó, vài viên đã bị vỡ. Trung tâm của viên gạch trang trí hình hoa cúc với vòng tròn nổi ở giữa, bao bọc bên ngoài tiếp tục là những vòng tròn nhưng tiết diện nổi nhỏ hơn, tiếp đó là những cánh hoa cúc được cách điệu. Ngoài cùng là 2 lớp hoa văn sóng nước, được trang trí ở cả bốn mặt, tạo thành hình vuông bao bọc lấy hoa cúc. Tiếp giáp với hoa văn sóng nước, ở 4 phía tạo nổi nửa hình tròn và nửa hình bông hoa cúc. Với tạo hình này, khi liên kết với các viên gạch khác sẽ tạo thành những bông hoa cúc mới ở 4 phía, đồng thời, những nửa vòng tròn kia cũng kết hợp tạo thành một hình thoi cách điệu trên mỗi viên gạch.

Quan sát hoa văn trên gạch, nhà nghiên cứu Đào Tam Tỉnh cho rằng: “Hoa văn ở các viên gạch này là đặc trưng của gạch thời Trần”. Điều này cũng dễ lý giải, bởi đền được xây dựng vào năm 1403, khi đó, vương triều nhà Hồ mới dựng chưa lâu và dấu ấn về mọi mặt của triều Trần vẫn còn đậm nét, trong đó có nghệ thuật làm gốm.

Điều ngạc nhiên là trải qua hơn 600 năm tồn tại, có thời gian bị chôn vùi dưới lòng đất nhưng gạch vẫn giữ được gần như nguyên vẹn cả màu sắc lẫn đường nét hoa văn. Điều này cho thấy khả năng làm gốm của các nghệ nhân xưa đã đạt đến trình độ bậc thầy, nhiều chi tiết trong quá trình làm gạch như tỷ lệ pha chế nguyên liệu, nhiệt độ nung… vẫn còn là ẩn số đối với nhiều nhà khoa học, nhà nghiên cứu và cả những nghệ nhân làm gốm ngày nay.

Ngoài 10 viên gạch nói trên, tại đền còn lưu giữ 01 phần của góc đao - trên đó có trang trí hoa văn dây lá và 16 chân tảng bằng đá với nhiều kích thước khác nhau, chân tảng to nhất cao 0,35m, cạnh 0,6m x 0,6m. Đây thực sự là những cổ vật quý hiếm trên địa bàn tỉnh Nghệ An.