Pfaffenberg ist, neben Mambach, der zweite Ortsteil, der nicht als eine Narrenzunft oder Vogtei organisiert ist. Der Pfaffenberger Gesangsverein hat bis in die siebziger Jahre im Schlüssel alljährlich einen Chappeobe organisiert. Leider findet seit dem keine eigene Fasnachtsveranstaltung mehr statt (es sei denn, ein Pfaffenberger wird Hürus, so geschehen 1983 mit Hürus Ferdi und 1989 mit Hürus Rudolf).
Waren es anfangs noch die jüngeren Mitglieder des Gesangsvereins, die mit einer kleinen, aber nicht minder ausgelassenen Truppe den Zeller Umzug bereicherten, sind sie mittlerweile zu einer stattlichen Fussgruppe angewachsen und haben allerlei Gefährte mit dabei. Manchmal findet auch vierbeiniges Getier den Weg nach Zell. Dabei soll es schon vorgekommen sein, dass die eine oder andere Kuh kurzerhand mit in die Wirtschaft genommen wurde, anstatt sie vor der Türe anzubinden. Da sind sie halt einfallsreich, die Bewohner des geistlichen Hügels.