In de Middeleeuwen werd Sint Nicolaas graag afgebeeld met een geketende, vaak zwarte duivel aan zijn zijde. Zwart stond hier voor het overwonnen kwaad, niet voor een donkere huidskleur. Deze duivel bleef lang aanwezig in allerlei volksgebruiken. Jongeren op het platteland maakten op Sint Nicolaasavond hun gezichten zwart en lieten kinderen schrikken, waarbij zij bedelden om geld of lekkers. Deze enge figuren smolten op den duur samen met Sinterklaas: ze werden - soms zwart, soms wit - tot het vaste hulpje van de Sint.

In 1845 kwamen al die types samen in Zwarte Piet. Vanaf dat moment leek hij meer op een soort Afrikaanse bediende, zoals rijke mensen die vroeger in dienst hadden.

Tegenwoordig stuit dit veel mensen tegen de borst. De zwarte is zo het eeuwige knechtje van een witte baas, en dat is een racistisch beeld. Dit gevoel leidde er in 2001 toe dat allochtone kinderen tijdens een Sinterklaasoptocht de pruiken van Zwarte Pieten aftrokken en pepernoten teruggooiden. Een aantal scholen in Amsterdam Zuid-Oost, waar veel allochtonen wonen, voerden toen de 'Sint Nicolaascode' in: Zwarte Piet moest als een gelijke van Sinterklaas worden behandeld en niet langer als zijn knecht. Sommige scholen besloten zelfs dat het nog beter was als de Pieten helemaal niet zwart meer waren, maar groen of blauw. Voor veel anderen was dit een beetje overdreven: Zwarte Piet en Sinterklaas zijn voor kinderen twee goede vrienden. De huidskleur maakt daarbij helemaal niets uit.