Chùa Dương Sơn nằm trên sườn một quả đồi thấp, cao khoảng 30m, trên trục đường tỉnh lộ 398 tuyến Bắc Giang- Cao Thượng- Nhã Nam-Cầu Gỗ. Cách UBND xã Liên Sơn cũ về phía Bắc 0,5km, cách thị trấn Cao Thượng về phía Nam 3km, cách thành phố Bắc Giang 18km về phía Nam- Đông Nam.

Hiện nay sau tháng 7/2025, di tishc chùa Dương Sơn thuộc địa phận xã Nhã Nam tỉnh Bắc Ninh.

Căn cứ khảo sát điền dã tại địa phương và qua các tài liệu lưu trữ thì chùa Dương Sơn có từ lâu đời vào khoảng thế kỷ XVIII, với quy mô nhỏ gắn với yếu tố đình, chùa làng. Khi khởi dựng, di tích nằm ở vị trí ngã 3 tuyến đường nối Cao Thượng – Nhã Nam – Cầu Gỗ; Cao Xá – Nhã Nam- toà đi huyện Hiệp Hoà, sang tinh Thái Nguyên, cách vị trí ngày nay khoảng 300m về phía Nam. Dưới thời Pháp thuộc vị trí đình chùa được người Pháp đánh dấu cột mốc gọi là Ngã ba đình Nẻo.

Cuối thế kỷ XIX, Chùa Dương Sơn được trùng tu lớn. Theo truyền tích tại địa phương thì việc trùng tu đình và chùa gắn liền với sự tích dựng một đêm. Vào thời kỳ đó, làng Dương Sơn, kết Chạ với làng Hả, xã Tân Trung bên cạnh. Làng Dương Sơn là Chạ em, làng Hà là Chạ anh. Khi đó làng Hả xây dựng đình lớn (đình Hà) thấy Chạ em đình nhỏ, bé, đổ nát nên đã hô hào dân sang giúp trong một đêm đã chuyển gỗ, nguyên vật liệu tập kết và dựng lại xong đình. Truyền thuyết dân gian thì kể vậy, song căn cứ vào những tài liệu lưu trữ được và sau kết các sự kiện lịch sử diễn ra trong giai đoạn cuối thế kỷ XIX, đầu XX thì đình, chùa Nẻo là một trong những địa điểm có nhiều sự kiện gắn liền với phong trào khởi nghĩa Yên Thế do Đề Nắm và Đề Thám lãnh đạo. Di tích nằm trong vùng là lãnh địa quan trọng của các thủ lĩnh nghĩa quân Yên Thế (Đề Hả, Đề Sặt, Đề Thám) nên việc được các thủ lĩnh nghĩa quân Yên Thế quan tâm, hỗ trợ tu sửa trong thời kỳ này là có cơ sở.

Một tư liệu rất quan trọng mà cho đến ngày nay vẫn may mắn còn lưu lại được giúp cho chúng ta hình dung được quy mô ngôi đình xưa đó chính là bức ảnh tư liệu do người Pháp chụp toàn cảnh ngôi đình Nèo vào 1901. Đặc biệt là nơi chứng kiến sự kiện lịch sử cuộc gặp gỡ giữa thủ lĩnh Hoàng Hoa Thám và Thống sứ Bắc Kỳ Moren cùng nhiều quan chức của Pháp trong cuộc đình chiến, hoà hoãn lần 2 giữa thực dân Pháp và Nghĩa quân Yên Thế vào ngày 17.4.1901. Bức ảnh chất liệu rõ nét cho ta thấy được quy mô lớn của ngôi đình với toà đại đình lớn, mái và kiến trúc đẹp theo phong cách thời Lê (XVIII). Chùa Dương Sơn theo lời kể của các cụ cao niên trong vùng thì bao gồm 3 gian hai chái, có hậu cung, đằng sau có bãi dẻ lớn.

Sang đầu thế kỷ XX đến 1945, chùa Dương Sơn tiếp tục được tu sửa quy mô nhỏ và hầu như không có sự thay đổi lớn. Trong cuộc kháng chiến chống thực dân Pháp 1945-1954, với vị trí giao thông thuận lợi, di tích là địa điểm liên lạc và là trụ sở hội họp của bộ đội và du kích địa phương. Năm 1947, thực dân Pháp cản vào làng Dương Sơn, đốt làng, đốt cháy hoàn toàn ngôi chùa.

Với ý thức khôi phục lại một di tích lịch sử – văn hóa có giá trị của địa phương. Năm 2000, chính quyền và nhân dân sở tại đã khởi công phục dựng lại chùa Dương Sơn cách vị trí cũ 300m về phía Bắc.

Chùa Dương Sơn nằm trên cùng một thửa đất với đình Nèo. Chùa nằm sát cạnh đình, nền chùa cao hơn nền đình và lùi về phía sau. Chùa có hướng chính nhìn phía Đông Bắc, phía trước là một am nhỏ có tên gọi là đền Am, cách khoảng 70m là đường 384 xa hơn một chút là cánh đồng Cầu, và núi Đồng Sến. Phía Tây giáp hộ dân cư, phía Đông Nam giáp đình Nèo, phía Tây – Tây Nam dựa lưng vào đồi Thông.