Józef Górny urodził się 15 września 1949 r. w Gilowicach k. Żywca. Jest żonaty, ma trzech synów.
Studiował na Wydziale Odlewnictwa Akademii Górniczo-Hutniczej w Krakowie, gdzie w 1973 r. uzyskał tytuł magistra inżyniera odlewnika. W tym samym roku rozpoczął pracę w WSK “PZL-Rzeszów”. W 1981 r. ukończył studia doktoranckie, uzyskując tytuł doktora nauk technicznych.
W 1990 r. został wiceprezydentem Rzeszowa. Funkcję tę pełnił do 1999 r., w latach 1994-1998 sprawował też mandat radnego. W 1997 r. został wybrany z listy AWS posłem na Sejm RP. Przez całą kadencję pracował w Komisji Ochrony Środowiska, Zasobów Naturalnych i Leśnictwa jako jej wiceprzewodniczący, pracował też w Komisji Polityki Przestrzennej, Budowlanej i Mieszkaniowej, a następnie Komisji Finansów Publicznych.
Od 19 października 2001 r. Józef Górny pełnił funkcję Dyrektora Generalnego Najwyższej Izby Kontroli. Od 20 grudnia 2006 r. zajmuje stanowisko Wiceprezesa Najwyższej Izby Kontroli.