Budova vznikla v polovině 19. století jako hostinec s ubytovacím zázemím. Již dříve zde ale údajně jakási podnikavá žena prodávala kolemjdoucím kozí výrobky a kořalku. V letech 1878-9 ji nechal přestavět hrabě Jan Harrach.