Поселення, яке передувало виникненню Мерефи, було засноване 1595 року. Протягом XVII та першої половини XVIII ст. поселення було опорним пунктом оборони від татарських набігів. В кінці XVII, на початку XVIII століть в Мерефі була побудована земляна фортеця. 1668 року Іван Сірко заснував біля Мерефи хутір, який потім відійшов в якості спадщини його доньці. Вона вийшла заміж за Івана Артемова, хутір отримав назву Артемовки, який став в 1928 року складовою частиною міста.
До 1765 року Мерефа − сотенне містечко Харківського полку (місцевими сотниками у XVIII столітті були представники козацького роду Щербин). Містечко мало власну символіку: сотенний прапор (з зображенням Святого Апостола Петра) і сотенну печатку (з зображенням серця, увінчаного хрестом і пробитого навхрест шаблею та стрілою).
З 1765 року в Мерефі розташовувалося комісарське управління. У 1780 році Мерефа отримує статус слободи. Мерефа в той час була третім за кількістю населення населеним пунктом Харківського повіту, поступаючись лише військовій слободі Дергачі з населенням 2387 чоловік та казеному селищу Липці з населенням 1628 чоловік.
