USt in D trozdem in A gekauft?

Hallo,

mal nur interessehalber, denn es geht nur um ein paar Euro:
Bei einer Finanzprüfung warf mir der Prüfer eine
"Riesenrechnung" über ca. 40 Euro raus.
Ich hatte beim Metro in Österreich eine Tasche gekauft,
die, wie er meinte, nicht für den Betriebsbedarf sei.
Wie auch immer, ich diskutierte wegen dem lächerlichen Betrag
nicht mit ihm lang herum.
Was ich dann aber interessant fand:
Ich hatte die Tasche ja in Österreich umsatzsteuerfrei bezahlt.
Nun verrechnete das deutsche Finanzamt mit für diese 40 Euro
16% Steuer zur Nachzahlung in Deutschland!
Dürfen die das denn? Hätten die nicht 20% verlangen müssen
und das ans österreichische Finanzamt weitergeben müssen?