A Balassa-kastély Ragály község egyik műemléke. A kastély 1743-ban épült. A község déli oldalán emelkedő domb oldalában, közel egymáshoz, két kastélyépület áll. Mindkettőt a környéken birtokos Ragályi család építtette. A „sárga kastélynak” nevezett épület főhomlokzata a 18. század közepén Gömör vármegyében épült barokk kastélyok képét mutatja (háromszögű, címeres oromzat, díszes vakolat pillérek, kosáríves ablakrácsok, dupla tető). Ez az épület volt a Ragályi-Balassa bárók otthona. Ragályi Ferenc 1894-ben feleségül vette Báró Balassa Emmát (1872-1936), családja utolsó tagját, a király engedélyezte a két név egyesítését és a bárói cím használatát. Ezt követően a kastély udvari homlokzatát átépítették, bővítették. Az átépítést megelőzően az udvari homlokzatról készült fényképfelvételt közöl Borovszky, Gömör vármegyéről kiadott monográfiájában. Így ismert az átépítés mértéke. A két udvari szárnyra emeletet építettek, a közöttük lévő kis udvart beépítették. Új főbejáratot, előcsarnokot, télikertet alakítottak ki. Szerencsére az eredeti főhomlokzatot változatlanul hagyták. Apjuk halálát követően a kastélyt és birtokot két lánya, Mária (1894- ? ), Lukács Endréné és Karola (1901-1979), Ragályi Ferencné örökölték. A család egy másik ága a reform korban egy emeletes, klasszicista formajegyeket viselő újabb, „fehér kastélynak” nevezett, igényesen kialakított lakóépületet építtetett. Az emeletes főtömb közepén, ívesen alakított rizalit van. Az épületet két oldalról, a homlokzat síkjában tartott, földszintes, pártafalas, az udvar felé féltetős, szárnyak határolják. Borovszky a fentebb említett monográfiájában, erről az épületről is közöl fényképet. Az igényesen alakított kastélybelső (részben felújítva) mindkét szinten boltozattal fedett helyiségek, az oválisan alakított és boltozott nagyterem, a díszített kétszárnyú ajtók, kazettás parketta, a félkörbe szerkesztett emeleti lépcső valószínűsíti az építés idejét. A család irattára, az építkezésekre vonatkozó dokumentumokkal, a második világháború során elkallódott, elpusztult. A kastély tulajdonosa volt Ragályi Nándor (1814-1881), a rozsnyói kerület 1848-as országgyűlési képviselője, Kossuth Lajos kormánybiztosa. 1861-ben ismét a kerületet képviselte az országgyűlésben. Három leánya volt, a középső Sarolta, Szabó Gusztávné és családja volt a kastély utolsó ismert lakója és tulajdonosa.