Lovecký zámeček Karlštejn byl podle historických pramenů vybudován v době okolo r. 1770, dostavěn v r. 1776. Nachází se v nadmořské výšce 780 (783) m. Tento lovecký zámeček byl vystavěn v pozdně barokním slohu, když původní stavbou na tomto místě prý bývala asi od r. 1708 jen kaple sv. Jiljí, která pak byla zastavěna do zámečku. Karlštejn původně sloužil knížecímu dvoru rodu Kinských z Vychnic a Tetova, jehož vlastnictvím panství rychmburské bylo (hrad Rychmburk se nyní jmenuje Předhradí). Lovci sem jezdívali do přilehlé karlštejnsko-čachnovské a blízké krounské („staré“) obory, kde byla chována jelení a černá zvěř ( divoké prase). Krounská obora byla zrušena v roce 1805; Čachnovská pak v r. 1825, ale to již novým majitelem panství A. Thurn Taxisem, který je koupil od Filipa Josefa Kinského v r. 1823 za 1 milion zlatých. Zámek měl v prvním patře hodovní síň, v přízemí obytné místnosti, vlevém přízemním pavilonu pak byla zmíněná kaple, prý jednoho tohoto stavebního slohu v kraji. Byla zasvěcena, jak jinak, křesťanským patronům myslivců. Oltář svatého z Jiljí, jeho postranní sochy zobrazovaly sv. Eustacha a sv. Huberta. Osud jak oltáře, tak dalších památek je však od konce 2.sv. války neurčitý. Postranní stavby bývaly konírnami, dílnami a myslivna, v níž ve 30. létech 19. století působil vzdělaný lesník Petr Jindřich z Luseku, zemský měřič a ředitel dolování na českomoravských horách. Tato dřevěná stavba však později od blesku vyhořela. 1928.jpg
V roce 1784 byl v zámku zřízen úřad pro řízení železných hutí na majetcích panství Rychmburk, jehož součástí byla zdejší území. Lesy tu sloužily jako zdroj dříví, když z vypálení v milířích, stojících v okolních lesích, bylo zakázáno dřevěné uhlí, potřebné pro hutě, které však začátkem 19. století zanikly. Zpracovávaly v tomto kraji dobývanou málo kvalitní železnou rudu (např. u Čachnova, u Svratoucha, i jinde v okolí. Byly potom nahrazeny hutěmi na výrobu dutého nebo tabulového skla, ale ty také později postupně zanikaly. Výbornou pověst měli i hrnčířské výrobky, které rovněž potřebovaly k výrobě žár pecí. Proto dnešní lesy změnily svůj původní vzhled a listnaté, zejména bukové lesy tu jsou vzácnosti. Lesům Vysočiny se nevyhnuly rozsáhlé pohromy, z nichž snad největší, v novější době, byla způsobena sněhem a větrem 26. – 29. října 1930.
Po zestátnění veškerého majetku Thurn-Taxisů v r. 1845, se majitelé zámku střídali, teprve poslední vlastník a pak jeho právní nástupce – OP Prostějov, a.s., zámek zrestaurovali a uvnitř přestavěli na školící a rekreační zařízení. není veřejnosti přístupný. Ještě zajímavost-okolo r. 1950 zámek s okolím posloužil pro natáčení části filmu podle Jiráskova románu Temno.
Jméno zámku – Karlštejn není převzato z jedinečné stavby hradu Otce vlasti Karla IV. Jméno má původ v přeneseném pojmenování z nedalekého Zkamenělého zámku, kdysi označovaného jako Starý Karlštejn, jehož skalisko nazýval tehdejší německý lesní personál „Kahlstein“, t.j. holý kámen, což si zdejší obyvatelé převedli do pojmenování Karlštejn.
