Đến thời Vĩnh Hựu nhà Lê (1735-1739), chúa Trịnh Giang đã dựng cung Thụy Khánh và đắp hai quả núi đất ở trên bờ phía Đông đối diện với Ngọc Sơn gọi là núi Đào Tai và Ngọc Bội. Cuối đời nhà Lê, cung Thụy Khánh bị Lê Chiêu Thống phá huỷ. Một nhà từ thiện tên là Tín Trai, nhân nền cung cũ đã lập ra một ngôi chùa gọi là chùa Ngọc Sơn.

Bài kí trên văn bia chữ Hán Ngọc Sơn Đế Quân từ ký, do Tiến sĩ Vũ Tông Phan soạn năm1843còn ghi được sự kiện này như sau: "...Hồ Tả Vọng tên cũ gọi hồ Hoàn Kiếm là một danh thắng đất Kinh kỳ xưa. Phía Bắc mặt hồ, một gò đất nổi lên rộng khoảng ba bốn sào, tương truyền là chỗ đài câu cá thời cuối Lê. Trước đây, ông Tín Trai làng Nhị Khê nhân có đền Quan Đế tại đấy bèn mở rộng sửa sang thêm gọi là chùa Ngọc Sơn...".

Vậy thì trong lịch sử, trong khu vực đền Ngọc Sơn ngày nay vốn có ngôi chùa tên là chùa Ngọc Sơn. Chùa quay mặt hướng Nam, phía trước dựng gác chuông, phong cảnh nhờ thế càng thêm khởi sắc. Tuy nhiên, trải tháng năm lâu ngày, ngôi chùa bị đổ nát, tưởng chừng chùa cũng muốn đi theo người.

Ít năm sau chùa lại nhường cho một hội từ thiện đổi làm đền thờ Tam Thánh. Hội gồm những người xuất thân khoa mục tham gia. Khi mới thành lập, mục đích của hội chủ yếu là khuyến khích làm việc thiện. Hội thờ Văn Xương Đế Quân nhưng chưa có đền thờ. Những người con của ông Tín Trai có quan hệ mật thiết với hội nên đã tình nguyện nhượng lại chùa này cho hội. Toàn hội đến làm lễ trước ngài Văn Xương Đế Quân, xin được quẻ bói viết rằng:

Bảo kiếm tân ma bách hiện quang,
Tứ phương chiếu diện nhậm hành tàng.
Tòng tiền tự hữu căn cơ tại
Nhuận sắc tăng huy thanh bá dương.
Nghĩa là:
Gươm báu mới mài ánh sáng choang,
Bốn phương chiếu rọi mặc hành tàng.
Từ xưa nền tảng còn nguyên đó
Nhuận sắc khang trang nức tiếng vang.

Theo đó, hội tiến hành tu bổ đền thờ, dỡ bỏ gác chuông chùa, cải tạo chùa thành đền thờ Văn Xương Đế Quân. Đền được khởi công từ mùa Đông năm Tân Sửu (1841) đến mùa Thu năm Nhâm Dần (1842) thì hoàn thành.

Năm Tự Đứcthứ 18 (1865), nhà nho Nguyễn Văn Siêuđứng ra tu sửa lại đền. Đền mới sửa đắp thêm đất và xây kè đá xung quanh, xây đình Trấn Ba, bắc một cầu từ bờ Đông đi vào gọi là cầu Thê Húc. Trong văn bia Trùng tu Văn Xương miếu bi ký, do Án sát sứ tỉnh Hà Nội là Đặng Lương Hiên soạn vào khoảng thời gian sau khi tu sửa lại đền, ghi lại rằng: "...Hiện nay đền thờ mới đã hoàn thành, phía trước kề bờ nước, làm đình Trấn Ba, ngụ ý là cột trụ đứng vững giữa làn sóng văn hóa. Bên tả, phía Đông cầu Thê Húc, dựng Đài Nghiên. Lại về phía Đông trên núi Độc Tôn, xây Tháp Bút, tượng trưng cho nền văn vật. Qua ba bốn năm, dựa vào tiền quyên góp mới làm xong...".

Với các văn nhân ở Hà Nội lúc bấy giờ, việc hướng thiện và chấn hưng giáo dục rất được đề cao. Khi dựng lại đền Ngọc Sơn, ngụ ý của các nhà trí thức là muốn nêu cao nền giáo hóa mang ý nghĩa nhân văn cao cả. Vì thế trong bài ký, Án sát sứ Đặng Lương Hiên nhấn mạnh rằng: "Miếu thờ Văn Xương ở khắp thiên hạ, để dạy mọi người làm điều thiện mà thôi. Nhưng người ta làm điều thiện không gì quan trọng bằng ngăn lòng dục của người mà bảo tồn lẽ phải của trời, chẳng cầu phúc mà tự nhiên được phúc".

Thành Thăng Long xưa là một nơi lễ giáo, trải qua bao phen biến đổi, danh thắng hoang tàn. Cảm nhớ dấu xưa mà các trí thức văn nhân đã sửa sang phục hồi, đủ khiến non sông thêm vẻ đẹp. Về sau, đền thờ thêm Lã Tổ (thần coi về thuốc chữa bệnh) và thờ Trần Hưng Đạo, vị anh hùng đời Trần, tương truyền đã cho tập trận thủy quân tại hồ này (vì thế Hồ Gươm trước đó có tên là hồ Thủy Quân).

Trải qua nhiều sự thay đổi, như một nhân duyên định mệnh, đền Ngọc Sơn vốn là ngôi đền, rồi xây chùa, rồi dỡ chùa dựng lại đền và đền trở thành đền Ngọc Sơn tồn tại cho đến ngày nay và mãi về sau.

Một không gian đẹp nên thơ giữa Hồ Gươm trong xanh, nổi bật trên nền trời là ngọn tháp bút vòi vọi tạo nên không khí thanh bình yên ả, mà lại đầy hào khí văn chương chữ nghĩa của Hà Nội dấu yêu.

Cũng vì nơi đây là nơi văn nhân Hà Nội và bạn bè tứ phương thường hay tới, nên mỗi dấu ấn ở đây đều mang ý nghĩa văn chương tao nhã mà sâu sắc. Chẳng hạn ngay cổng ngoài đã có những dòng chữ Hán mang ý nghĩa triết tự rất ý nghĩa như: Ngọc ư tư (nghĩa là: Ngọc ở đây); Sơn ngưỡng chỉ (nghĩa là: Ngửa trông núi).

Quả đúng như lời ứng nghiệm của quẻ bói năm nào, đền Ngọc Sơn trở thành một nơi nhuận sắc khang trang nức tiếng vang. Bạn bè thế giới và nhân dân khắp đất nước, mỗi khi tới Hà Nội đều đến thăm đền Ngọc Sơn xinh đẹp.

Ngày nay, sĩ tử trước ngày đi thi thường dập dìu ghé qua đền Ngọc Sơn thành tâm cầu khấn, mong muốn được ngôi sao văn chương phù hộ cho đỗ đạt khoa trường. Đúng như lời Tiến sĩ Vũ Tông Phan viết trong văn bia Ngọc Sơn Đế Quân từ kí: "Kể từ nay việc thờ thần có nơi có chốn, các bậc sĩ phu cùng nhau hẹn ước đi về. Người mến cảnh càng thêm yêu cả cái danh. Trong hội, ai ẩn dật tu hành, ai muốn du ngoạn, nghỉ ngơi đều đã có nơi có chốn. Hứng vui ngắm trăng dưới nước, hứng vui hóng gió trên non, có thể giúp nhiều cho điều thiện, đâu chỉ riêng mình được hưởng".