Tuy nhiên, những văn bia thời kỳ này tìm thấy rất ít. Là vùng đất có bề dày lịch sử, văn hóa khi tiến hành khảo sát, Bảo tàng tỉnh Cao Bằng đã phát hiện một số văn bia có giá trị trên địa bàn. Qua quá trình khảo sát nhận thấy, hầu như ở địa phương nào cũng có văn bia. Trong bộ sưu tập văn bia cổ tại Cao Bằng, có thể kể đến những văn bia tiêu biểu như: Văn bia thời Lê trên núi Phja Tém, bia đền Vua Lê (Hòa An), bia chùa Phố Cũ (Thị xã), bia cầu Pò Mán, cầu Cốc Khoác (Trà Lĩnh), Văn bia chùa Sùng Phúc (Hạ Lang)... Đặc biệt là loại bia " ma nhai" (văn bia được khắc trên vách đá) là dạng văn bia rất phổ biến dưới thời Lê sơ (thế kỷ XV). Nhất là văn bia của vua Lê Thái Tổ, sau nhiều lần cầm quân dẹp loạn (Phần lớn là các tù trưởng người dân tộc thiểu số).
Năm 2001, tại khu vực núi Phja Tém, xã Bình Long (Hòa An) đã phát hiện 2 văn bia ma nhai. Bia thứ nhất được khắc ở phía nam núi. Phja Tém, bia khắc trên vách đá với độ cao 12 m so với mặt đất. Vì khắc trực tiếp vào vách đá, nên mặt bia không có độ phẳng. Xung quanh bia không có phần trang trí. Bia được khắc 15 cột dọc, chữ khắc trên bia là loại chữ chân phương, rõ ràng, đậm nét, dễ đọc. Tuy nhiên do bị nước mưa bào mòn, hiện nay chỉ còn 9 hàng chữ phía trái là rõ nét, 6 hàng phía phải đã mất nét gần hết. Cuối bài thơ có khắc chữ "Thuận thiên tứ niên tân hợi chính nguyệt nhị thập nhật đề " (Ngày 20 tháng 1 âm, năm 1431). Nội dung bia nói về sự kiện Vua Lê Thái Tổ lên Cao Bằng dẹp Bế Khắc Thiệu và Nông Đắc Thái năm 1430. Đây là di sản văn hóa quý hiếm, bởi nó liên quan đến dấu tích của Vua Lê Thái Tổ. Văn bia thứ hai được khắc ở phía tây núi Phja Tém, cách bia thứ nhất khoảng 60 m về phía trái. Người xưa đã đục vào vách đá để tạo mặt phẳng khắc bia. Phần trán bia khắc chữ "Câu Thủy Bị Ký 1". Bia được khắc trong 18 hàng dọc, không có phần trang trí xung quanh. Các nét khắc hầu như còn nguyên vẹn, rõ ràng, dễ đọc. Bên trái bia ghi tên người lập bia: Tống Đàm Bình. Nội dung bia nói về cảnh đẹp và các công trình làm thủy lợi hồi bấy giờ. Bia còn ghi tên, chức sắc các vị có công đốc thúc, trông nom dân 18 xã quanh vùng đắp đập, đào mương. Qua nội dung văn bia chúng ta có thể khai thác nhiều sử liệu quan trọng như, địa chí, tên gọi chức sắc địa phương... Hai văn bia này đã được lập hồ sơ trình Bộ Văn hóa, Thể thao và Du lịch xếp hạng di tích cấp Quốc gia.
Năm 2007, Viện Khảo cổ phối hợp với Bảo tàng Cao Bằng điều tra điền dã khảo cổ học. Trong quá trình điều tra, điền dã đã phát hiện bia đá tại thôn Pò Mán, xã Quang Hán, huyện Trà Lĩnh. Ở khu vực này trước đây có chiếc cầu cổ phục vụ việc đi lại của nhân dân trong vùng. Hiện nay chiếc cầu không còn, di vật còn lại là tấm bia đá. Bia không có hoa văn, chất liệu làm bằng đá xanh được mài nhẵn. Trán bia khắc bốn chữ "Hồng Kiều Củng Cố" (tạm dịch: "củng cố tu sửa cầu Hồng"). Thân bia phía bên trái có ghi niên đại "Thiệu Trị Lục Niên " (năm Thiệu Trị thứ 6 - Triều Nguyễn 1841). Nội dung bia ghi lại việc đóng góp tiền của các dòng họ và gia đình giàu có trong Vùng tu sửa cầu.
Tháng 8/2008, Bảo tàng tỉnh phối hợp cùng chính quyền và dân địa phương xã Cách Linh, huyện Phục Hòa tìm thấy tấm bia của Đền thờ Trần Duy Trân. Chất liệu tạc bia là loại đá được khai thác ngay tại địa phương. Kích thước bia nhỏ so với các bia thường gặp của triều Nguyễn, không có phần trán trang trí, không có diềm xung quanh, không có đế bia. Bia được chạm khắc đơn giản, không tinh xảo, không cầu kỳ. Hiện tại chỉ đọc được hàng chữ trên cùng: "Trùng tu Trần tướng quân chi các quyên kim phương danh bi ký" (Bia ghi lại danh thơm họ tên những người góp tiền trùng tu Trần Tướng Quân). Những chữ này khắc nét to, rõ ràng, chân phương. Phần nội dung còn lại nét chữ khắc nhỏ, chạm nông, sít vào nhau, đã mờ, mòn gần hết nên rất khó đọc. Góc ngoài cùng bên trái bia khắc một hàng dọc, góc trên cùng phía trái bia bị mất một chữ, phiên âm: Duy Tân Cửu Niên Tuế Thứ (. ) Thập Nhất Nguyệt Cát Nhật Đắn Lập (Bia được lập vào ngày lành tháng 11 âm năm Duy Tân thứ 9). Các nét khắc trên bia hiện đã mờ gần hết, song dựa trên cơ sở những chữ còn lại có thể phán đoán nội dung của bia ghi lại sự kiện Trần Duy Trân đi dẹp loạn phỉ Chu Chí Vãn vào năm Tân Dậu (1861). Hiện nay bia đang được bảo quản tại Bảo tàng tỉnh. Tại chùa Phố Cũ, Thị xã hiện còn lưu giữ 5 tấm bia đá. Nội dung của 5 bia đá này đã được Viện Hán Nôm phiên âm và dịch nghĩa, chủ yếu ghi lại việc công đức tu sửa lại Chùa. Bao gồm Bia Minh Mạng năm (1825); Bia Tự Đức (1876); Bia Tự Đức (1858); Bia Thành Thái (1893); Bia Gia Long (1941).
Năm 2010, Bảo tàng tỉnh tiến hành kiểm kê, khảo sát các đền chùa miếu trên la bàn toàn tỉnh. Trong quá trình khảo sát, tại các địa phương phát hiện rất nhiều văn bia khác như: Bia đá ở xóm Roỏng Khuất, bia cầu Tả Khoảng, Bia làng Thin Phoong, Bia mộ họ Nông (Trà Lĩnh),Bia đá xã Vân Trình (Thạch An), Bia Bản Gải (Thông Nông). Bia xã An Lạc (Hạ Lang), Bia khu vực Đền Bà Hoàng (Thị xã), Bia Cốc Vường (Hà Quảng), Bia xã Nam Quang (Bảo Lâm) . . . văn hóa dân tộc, là nguồn sử liệu có tính chất bền vững. Tư liệu khắc trên bia đá là tư liệu gốc, không bị sao chép lại, phản ánh trung thực nhiều mặt hoạt động trong quá khứ của người dân Cao Bằng nói riêng, của dân tộc Việt Nam nói chung. Trong những năm gần đây, văn bia Việt Nam đã được giới khoa học xã hội trong và ngoài nước quan tâm nghiên cứu, khai thác ở nhiều lĩnh vực khác nhau; Viện Hán Nôm Việt Nam đã ra mắt bạn đọc những tuyển tập dịch giới thiệu các tài liệu văn bia theo địa phương và theo niên đại, những chuyên khảo văn bia theo giá trị nội dung và đặc điểm thể loại, nhằm cung cấp những thông tin bổ ích tiềm ẩn trong kho tư liệu quý giá này. Tuy nhiên, từ trước đến nay chúng ta chưa có chương trình, kế hoạch gìn giữ, bảo quản để phát huy vai trò giá trị của các văn bia, thực tế mới chỉ dừng lại ở mức độ khảo sát, kiểm kê sơ bộ. Tình trạng văn bia bị quên lãng, nhiều bia đá cổ nằm lăn lóc bên bờ ruộng, nương ngô... là tình trạng phổ biến. Vì vậy, vấn đề bảo tồn, khai thác phát huy giá trị của văn bia trên địa bàn tỉnh hiện nay là vấn đề cấp thiết. Mong muốn tỉnh ta sớm có kế hoạch nghiên cứu, sưu tầm, dập và dịch những văn bia cổ tìm thấy trên địa bàn tỉnh, không để những di sản vô giá đó bị mai một và quên lãng.
Bảo tàng tỉnh