Im Wald versteckt findet der Wanderer ein paar Mauerreste und Gräben, welche auf die hier ehemals vorhandene Burg hindeuten. Der Sage nach hat auf dem Grimmstein die Feste der Ritter von Grimme gestanden. Anfang des 13. Jahrhunderts wurde die Gegend um Reinhardtsgrimma besiedelt, damals gehörte das Gebiet den Herren von Grimme. Die Festung selbst wurde wohl schon im 15. Jahrhundert zerstört. Reste wurden in der 1960er Jahren bei archeologischen Grabungen frei gelegt. Seit 2006 findet der Besucher auch eine Informationstafel vor Ort.