Fischer wurde am 6. Oktober 1936 in Feldkirch-Tisis geboren und wuchs dort auf. Am 29. Juni 1961 wurde er zum Priester geweiht. Nach mehreren beruflichen Stationen wurde Fischer 1989 vom damaligen Feldkircher Diözesanbischof Küng zum Generalvikar ernannt. 2005 ernannte ihn Papst Benedikt XVI. zum Feldkircher Diözesanbischof. Die Bischofsweihe erfolgte am 3. Juli 2005.

Mit manchen Aussagen sorgte der Bischof auch für Aufsehen und kontroversielle Diskussion. So etwa im Jahr 2009, als Fischer Homosexualität für “heilbar” erklärte und sich tags darauf dafür entschuldigte. 2010 war Fischer auch mit Gewaltvorwürfen aus den 1960er und 1970er-Jahren konfrontiert. Nach einer Überprüfung entschuldigte er sich in persönlichen Briefen bei vier Männern, die ihn beschuldigt hatten.