Der erste Unterricht fand in Grafenstein schon vor dem Jahre 1820 im „Pfleghaus“, damals untergebracht im Schloss Grafenstein, statt. Etwa 80 große und kleine Schüler wurden zusammen in einem Zimmer unterrichtet.
In den Jahren 1870 bis 1874 wurde die „alte“ Schule erbaut (heute: Tischlerei Prasenc, Zapfendorferstraße). Diese Schule hatte drei Klassen, erst nach 10 Jahren kam eine vierte Klasse dazu.
Im Jahre 1955 wurde die Schule renoviert, und gleichzeitig eine fünfte Klasse eröffnet.
Im Lehrmittelzimmer war eine Sonderklasse untergebracht.
Da die Schule im Laufe der Jahre immer baufälliger wurde, beschloss der Gemeinderat einen Schulneubau.
Der Plan für das neue Schulhaus stammt vom berühmten Architekten Dr. Clemens Holzmeister.
Im Jahre 1969 fand unter großer Beteiligung der Bevölkerung die Spatenstichfeier statt und schon zwei Jahre später, am 4. Oktober 1971, konnten die Grafensteiner Kinder ins neue Schulhaus einziehen.
Eineinhalb Jahre später eröffneten – im Beisein von Dr. Clemens Holzmeister – der damalige Landeshauptmann Hans Sima und der langjährige Bürgermeister ÖR Valentin Deutschmann feierlich die Schule.
Auch der bekannte Maler Prof. Giselbert Hoke, der auf Schloss Saager in Grafenstein lebt, trug zur Gestaltung der neuen Schule bei: Er schuf eine farbenprächtige Email-Arbeit, das Sonnenrad; dieses ist in der Aula des Schulhauses zu sehen.
Im Schulahr 2006/07 meldeten sich mehrere Schülerinnen und Schüler zum zweisprachigen Unterricht an. Unter der Leitung von Frau OSR VD Stefanie Barać wurden die Voraussetzungen dafür geschaffen, dass ab diesem Schuljahr an der Clemens Holzmeister Schule Slowenisch unterrichtet werden konnte.
Seit vielen Jahren trägt unsere Schule den Namen des Architekten Dr. Clemens Holzmeister. Das Lehrerkollegium wählte den Schulnamen „Clemens Holzmeister Schule“ im Rahmen eines dynamischen Schulentwicklungsprozesses.