Ο ΠΑΟΚ ιδρύθηκε το 1926 στην Θεσσαλονίκη στις τάξεις του πολιτιστικού σωματείου «Ένωση Κωνσταντινουπολιτών Θεσσαλονίκης». Ωστόσο, ήταν το δεύτερο αθλητικό σωματείο που ιδρύθηκε από τους πρόσφυγες της Πόλης. Το πρώτο του έμβλημα δεν ήταν ο δικέφαλος αετός, με τον οποίο τον ξέρουμε σήμερα.

Το πρώτο του έμβλημα ήταν ένα πέταλο μαζί με ένα τετράφυλλο τριφύλλι. Κι αυτό μάλλον για να μην έχει το ίδιο με την ομάδα που ιδρύθηκε έναν χρόνο νωρίτερα από τους Κωνσταντινουπολίτες. Την ΑΕΚ Θεσσαλονίκης. Η ΑΕΚ Θεσσαλονίκης είχε σαν χρώματα το κίτρινο και το μαύρο και έμβλημα τον δικέφαλο αετό.

Η ΑΕΚ Θεσσαλονίκης, είχε αρχικά ως κανόνα την ένταξη αθλητών που κατάγονταν από την Κωνσταντινούπολη. Παρολ’ αυτά, κατάφερε να εντάξει στο δυναμικό της ποδοσφαιριστές από τον Άρη και τον Ηρακλή, πράγμα που έφερε την αντίδραση μελών του μητρικού πολιτιστικού σωματείου, τα οποία το 1926 ίδρυσαν τον ΠΑΟΚ. Για να μην έχουν το ίδιο έμβλημα με την ΑΕΚ Θεσσαλονίκης, επέλεξαν το πέταλο μαζί με το τετράφυλλο τριφύλλι.

Με τον όρο Πανθεσσαλονικειός, που αντιπροσωπεύει το πρώτο από τα αρχικά του ΠΑΟΚ, η ομάδα κατάφερε να ανοίξει τις πόρτες της σε όλους τους Θεσσαλονικείς και να γίνει περισσότερο ελκυστική στην προσέλκυση φιλάθλων.

Η ΑΕΚ Θεσσαλονίκης διέθετε τμήμα ποδοσφαίρου μέχρι και το 1927. Στον μοναδικό αγώνα εναντίον του ΠΑΟΚ, τον Μάρτιο του 1927, ηττήθηκε με 4-0. Αυτός ήταν και ο πρώτος αγώνας του ποδοασφαιρικού ΠΑΟΚ, ο οποίος είχε την υποστήριξη της συντριπτικής πλειοψηφίας των προσφύγων της Θεσσαλονίκης.

Το φθινόπωρο του 1927, η ΑΕΚ Θεσσαλονίκης διέλυσε το ποδοσφαιρικό τμήμα της. Τελευταία της εμφάνιση ήταν τον Φεβρουάριο του 1929, στους αγώνες ανώμαλου δρόμου που διοργάνωσε η ΧΑΝΘ. Στις 20 Μαρτίου του ίδιου έτους, απορροφήθηκε από τον ΠΑΟΚ με πρωτοβουλία του γιατρού Καραμαούνα, και άλλαξε το έμβλημα του στον γνωστό μας σήμερα δικέφαλο. Η μόνη διαφορά ήταν πως ο δικέφαλος του ΠΑΟΚ έχει τα φτερά του κλειστά, εις ένδειξη πένθους για τον διωγμό των Ελλήνων της Πόλης.