La commune d'Eloie a fait partie au XIe siècle de la seigneurie du Rosemont. En 1347 le village dépend de la paroisse de Rougegoutte ainsi que du baillage de Belfort. Elle relève alors du comté de Belfort qui appartient aux Mazarin. Puis vint la Fronde qui dévaste tout le pays environnant et laisse un seul habitant à Eloie en 1661. En 1860 on y recense une école qui est en partie détruite par les obus prussiens en 1870 puis reconstruite.
Après la Première Guerre mondiale, l'exploitation du bois dépasse celle du métal et devient une importante source de revenus pour la commune avec le tourisme. De nos jours, la commune d'Eloie d'une superficie de 555 ha est peuplée par près de 900 habitants. On recense d'ailleurs 891 Eloyens en 1990, 970 en 2008.

En 1975 Eloie effectue son premier dépôt de documents, conservés sous la cote 37 E-Dépôt. La commune a ensuite déposée des Archives en 1985, 1996 et 2011. Le dernier dépôt date de 2022.