Hrádek u Babic se nachází na ostrožně mezi obcí Babice nad Svitavou a Býčí skálou v Křtinském údolí. Kolem vede žlutá turistická značka. Lokalita leží na katastrálním území obce Babice nad Svitavou. Vzhledem k tomu, že se přímo v obci nacházela tvrz, vypálená roku 1645 švédskými vojsky, je pro rozlišení tato lokalita nazývána jako Hrádek u Babic.
Středověký hrad však neodkryl všechna svá tajemství, neexistují žádné dochované listiny. Odborníci odhadují výstavbu hradu na konci 13. století. Jeho existence může býti také spojována v souvislosti s těžbou a zpracováním železné rudy v jeho okolí.