Józef Rubiś urodził się 19 marca 1931 w Zakopanem. Był zawodnikiem Wisły Gwardii (1947-1961) i WKS (1962-1966) Zakopane. Karierę sportową rozpoczynał od biegów narciarskich.
Trenowali go m.in. Marian Woyna-Orlewicz i Tadeusz Kaczmarczyk. Był mistrzem Polski na 30 km (1955) i w sztafecie 4 x 10 km (1955, 1956 i 1957). W igrzyskach w Cortina d'Ampezzo (1956) zajął 34. miejsce na 15 km, 23. na 30 km oraz dziewiąte w sztafecie 4 x 10 km (z Józefem Gąsienicą-Sobczakiem, Tadeuszem Kwapieniem i Andrzejem Mateją).
Od 1962 roku startował wyłącznie w biatlonie. W olimpiadzie w Innsbrucku (1964) był szósty na 20 km. W mistrzostwach świata w Elverum w 1965 roku wraz z Gąsienicą-Sobczakiem, Stanisławem Szczepaniakiem i Stanisławem Łukaszczykiem zdobył brązowy medal, a rok później w Garmisch-Partenkirchen sztafeta w tym samym składzie wywalczyła srebrny.
Po zakończeniu kariery zawodniczej (1968) jako asystent Stanisława Zięby zajął się szkoleniem młodych biatlonistów. Trenował m.in. złotych medalistów mistrzostw świata juniorów Jana Szpunara, Stanisława Karpiela, Ludwika Ziębę i Stanisława Obrochtę. Pracę trenerską zakończył w 1998 roku.
gaw