In Unterelkofen, zwei Kilometer südlich des Stadtkerns von Grafing, liegt eine von Oberbayerns besterhaltenen Burgen. Das etwas versteckt liegende Schloß Elkofen ist von einem breiten und tiefen, früher wassergefüllten Graben umgeben und hat beachtliche Ausmaße. Ältester Teil der Burg ist der Bergfried, der seinen Ursprung in der Frühmittelalter hat. Mit dem einzigen Eingang in 18 Metern Höhe diente er in füheren Jahrhunderten der Bevölkerung als Zuflucht.
Die Burg an sich wurde wahrscheinlich im 11. Jahrhundert erbaut und erhielt spätere Zubauten in fast allen Jahrhunderten. In ihrer Erscheinung ist sie im wesentlichen noch spätgotisch. Die im Jahre 1516 erbaute Schloßkapelle wurde 1720 barockisiert. Ihr spätgotischer Flügelaltar mit Schnitzfiguren, die der Werkstatt des Meisters von Rabenden zugeschrieben werden, ist heute im Bayerischen Nationalmuseum in München verwahrt.
Die einzig erhaltene und bewohnte Burganlage im Landkreis ist seit 1664 mit nur einer Unterbrechung im Besitz der Grafen von Rechberg-Rothenlöwen.
