Auch in der Literatur fand die Taube über die Jahre immer wieder Erwähnung. Wilhelm Raabe, Franz Michael Felder und Eduard Mörike schrieben über das historische Wirtshaus. Felder bemerkte über seinem ersten Besuch in der Taube:

„In Alberschwende kehrte ich in der Taube ein. Der Anblick des mit Zeitungen belegten Tisches weckte gleich ein günstiges Vorurteil für dieses Dorf. Ich wusste nicht, daß die Taube hauptsächlich den Fremden gehört, die hier durchreisen. Mir kam es da schon ganz großstädtisch vor, denn Zeitungen waren in unseren Wirtshäusern eine wahre Seltenheit. Ich begann zu lesen und las noch, als mein hungriger Begleiter mit Schmerzen das für uns aufgetragene Mittagessen verdampfen und kalt werden sah.“

Bei einem weiteren Besuch mit seiner Frau Nanni schrieb er 1861:

„Ein Fuhrwerk, das erste, welches ich zu einer Vergnügungsfahrt benutzte, brachte uns auf gut gebahnten Schlittweg in den äußeren Bregenzerwald, wo einige Verwandte meiner Braut in schöner geachteter Stellung lebten. Ich erwähne nur den hier überall bekannten Bruggmüller in Egg, einen Bruder ihres Vaters. Er galt im ganzen Ländchen für einen Ratgeber und Helfer aller Notleidenden. Sein gastfreundliches Haus stand jedem offen, und jeder verliess es gehoben und erquickt. Ich fühlte mich da gleich heimisch und freute mich, einen solchen Mann zum Vetter zu gewinnen. Vor Bruggmüllers Tochter aber, der Taubenwirtin in Alberschwende, trat ich doch etwas scheu auf. Mit Weibern hatte ich überhaupt nicht gerne zu tun, da ich ihr Urteil meistens nur von der öffentlichen Meinung bestimmt sah, die mir fast immer ungünstig war. Es ging aber auch hier ganz gut. Wir wurden in ein freundliches Gastzimmer geführt, wo ich nach dem Gottesdienste zu meinem Ergötzen die rotbackigen Alberschwenderinnen ihr Pfeifchen rauchend beim Kirschwasser sitzen sah. Das war dem Innerbregenzerwälder etwas Neues.“

Auch Besuche anderer bedeutender Persönlichkeiten in der Taube sind nachgewiesen. So besuchte der österreichische Bundespräsident Wilhelm Miklas (1872 – 1956) die Taube und verlieh der Mutter des heutigen Wirtes eine Ehrenmedaille, oder auch der Kronprinz Wilhelm von Preußen 1882 – 1951 auf seinem Weg in das Jagdhaus Villa Maund in Hopfreben. Von ihm stammt der handschriftliche Spruch, in einem Exemplar seines Buches „Aus meinem Jagdtagebuch“:

das ist des Jägers Ehrenschild
das stets er hegt und pflegt sein Wild
Waidmännisch jagdt wie sich’s gehört
Den Schöpfer im Geschöpfe ehrt