Το μέγαρο που φιλοξενεί σήμερα το Δημαρχείο της Καβάλας είναι ένα από τα πιο εντυπωσιακά και χαρακτηριστικά κτίσματα της πόλης, κερδίζοντας αμέσως την προσοχή χάρη στην ιδιαίτερη αρχιτεκτονική του, η οποία διαφέρει έντονα από την υπόλοιπη αστική δομή της περιοχής.

Η κατασκευή του, με έντονες επιρροές από την ουγγρική αρχιτεκτονική, θυμίζει μικρογραφία πύργου από την κεντρική Ευρώπη, γεγονός που του προσδίδει μια «ξένη» αισθητική σε σχέση με τα υπόλοιπα κτίρια της Καβάλας. Ο επιβλητικός αυτός πύργος αποτελεί χαρακτηριστικό παράδειγμα αρχιτεκτονικής γοτθικής αναγέννησης.

Η ανέγερση του κτιρίου χρονολογείται στα τέλη της δεκαετίας του 1890 και ανήκε στον Ούγγρο καπνέμπορο βαρόνο Pierre Herzog. Χρησιμοποιήθηκε τόσο ως κατοικία όσο και ως επαγγελματική έδρα του βαρόνου, ο οποίος ήταν ένας από τους σημαντικότερους επιχειρηματίες της εποχής στην Καβάλα. Η αρχιτεκτονική του είναι εμπνευσμένη από τον ρομαντισμό, με εμφανή μεσαιωνικά και γοτθικά στοιχεία, τα οποία προσδίδουν μια αίσθηση μεγαλοπρέπειας και ευγένειας.

Τα γοτθικά τόξα που κυριαρχούν στους πυργίσκους και στα μπαλκόνια, οι δύο εντυπωσιακές βενετικές γοτθικές αψίδες που βρίσκονται εκατέρωθεν της κεντρικής πύλης και τα χαρακτηριστικά παράθυρα με δακρυρροή (dripstone) πάνω από αυτά, όπως και το προεκτεινόμενο παράθυρο (oriel window), αποτελούν μοναδικά δείγματα της εποχής εκείνης και προσδίδουν στο κτίριο έναν αέρα μυστηρίου και μεγαλοπρέπειας.

Το 1937, το κτίριο αγοράστηκε από τον Δήμο Καβάλας και από τότε έως σήμερα στεγάζει το Γραφείο του Δημάρχου καθώς και ορισμένες διοικητικές υπηρεσίες του δήμου. Η ιδιαίτερη αυτή κατασκευή, πέρα από τη χρηστική της αξία, αποτελεί πλέον και ένα σημαντικό τουριστικό αξιοθέατο της Καβάλας, προσελκύοντας το ενδιαφέρον τόσο των κατοίκων όσο και των επισκεπτών που επιθυμούν να θαυμάσουν την αρχιτεκτονική της παλαιάς εποχής.