Gebhard Ziller wurde am 17. März 1932 in Konstanz geboren. 1956 schloss er sein Studium der Rechtswissenschaften an der Universität Tübingen ab. 1960 folgte die Promotion, 1961 legte er das Zweite juristische Staatsexamen ab.
Seine Berufslaufbahn begann 1961 als Leiter des Referats "Parlamentsdienst und Öffentlichkeitsarbeit" im Sekretariat des Bundesrates in Bonn. 1971 berief ihn der damalige rheinland-pfälzische Minister für Soziales, Gesundheit und Sport, Heiner Geißler (CDU), zum Leiter der Zentralabteilung seines Ministeriums nach Mainz. Im Juni 1976 wurde Ziller Staatssekretär der niedersächsischen Landesregierung.
Direktor Gebhard Ziller und Bundesratspräsident Ernst Albrecht bei der 560. Plenarsitzung am 31. Januar 1986
© Bundesrat
Zum 1. Juli 1978 folgte die Ernennung zum Direktor des Bundesrates. In dieser Funktion erhielt er im Jahr 1982 für seine ausgezeichneten Leistungen das Verdienstkreuz 1. Klasse der Bundesrepublik Deutschland und 1986 das große Verdienstkreuz. Während seiner Amtszeit im Sekretariat des Bundesrates begleitete er insgesamt 115 Plenarsitzungen und unterstützte 11 Präsidenten bei ihrer Amtsführung.
Am 4. April 1987 übernahm er die Funktion eines Staatssekretärs im Bundesministerium für Bildung, Wissenschaft, Forschung und Technologie. Am 1. Juli 1996 ging Ziller in den Ruhestand.
Der Verstorbene veröffentlichte zahlreiche Beiträge in rechts- und staatswissenschaftlichen Zeitschriften und Sammelbänden und schrieb das Buch „Der Bundesrat“ (11. Aufl., 2003) zuletzt gemeinsam mit dem Direktor des Bundesrates a.D. Georg-Berndt Oschatz.
Ziller hinterlässt neben seiner Ehefrau Ingeborg Ziller zwei Söhne und zwei Enkelkinder.