Pasó su infancia en la ciudad de Graz, en Austria, y estudió violonchelo en la Academia de Música de Viena, incorporándose como violonchelista en la Orquesta Sinfónica de Viena en el año 1952. Un año después, fundó el Concentus Musicus Wien, orquesta que interpreta a los compositores con instrumentos originales de su época, especializada en música del Renacimiento y Barroco. Ha enseñado práctica y estudio de los instrumentos antiguos en la Universidad Mozarteum de Música en Salzburgo. No obstante, ha dirigido música de prácticamente todos los periodos con la mayoría de las orquestas importantes que existen.
Es autor de libros relacionados con la música y los instrumentos antiguos, siendo destacable su obra La música como discurso, un análisis filosófico de la música.
