Armin Knab wurde kurz nach seinem Tod 1951 zum Ehrenbürger Kitzingen ernannt. Die Stadt ehrt ihn durch die Pflege des Ehrengrabes auf dem Alten Friedhof. Zudem gibt es eine Knab gewidmete Abteilung im Stadtmuseum Kitzingen, das auch einen Teil seines Nachlasses beherbergt. (Der weitaus größere Teil seines Nachlasses liegt allerdings in der Bayerischen Staatsbibliothek in München.) Eine Straße im Stadtteil Siedlung trägt seinen Namen. Im Jahr 1966 wurde zudem das damals noch städtische, heute dem Landkreis Kitzingen zugeordnete Gymnasium nach dem Sohn der Stadt benannt. Allerdings war Knab als Namensgeber der Schule nicht erste Wahl, der Stadtrat hatte zunächst einstimmig eine Benennung in Gregor-Mendel-Gymnasium befürwortet. Da aber bereits ein anderes bayerisches Gymnasium diesen Namen trug, entschied sich der Stadtrat schließlich, den Namen eines prominenten Bürgers der Stadt Kitzingen zu bevorzugen. Ebenfalls im Gespräch waren Paul Eber, Richard Rother, Andreas Schmiedel, Konrad Celtis und Johann Rudolph Glauber.

Zur Hundert-Jahr-Feier 1981 organisierte die Stadt Kitzingen eine Reihe von Musik-und Gedenkveranstaltungen zu Knabs Ehren.

Plakat mit der Übersicht über die Feierlichkeiten der Stadt Kitzingen zu Ehren Knabs im 1981.

Titelblatt des Programmheftes für den Konzertabend des Armin-Knab-Gymnasiums Kitzingen am 5. November 1981.

Knabs Witwe Paula Yvonne hatte nach der Umbenennung des Gymnasiums eine Armin-Knab-Stiftung gegründet, deren Ziel es war, jährlich die besten Abiturienten der Schule mit Sachpreisen auszuzeichnen und zudem die musikalische Ausstattung der Schule zu unterstützen. Eine Armin-Knab-Büste des Rothenburger Bildhauers Johannes Oertel aus den 1920er Jahren, die sich in Familienbesitz befand, wurde der Schule geschenkt und befindet sich im Innenhof des Gymnasiums.

Eine weitere Armin-Knab-Stiftung existiert an der Würzburger Hochschule für Musik. Im jährlichen Wechsel gibt es einen Wettbewerb für Sologesang und Komposition, deren Gewinner den Titel Armin-Knab-Preisträger führen dürfen und ein Preisgeld erhalten. Teilnehmen dürfen ausschließlich Studenten der Würzburger Musikhochschule.