Kaarle Kustaan vieraista naisista on huhuttu useita kertoja vuosien varrella. Ennen tuoreinta Kaarle XVI Kustaa – Vastahakoinen monarkki -kohuteosta rakastajattarista kirjoiteltiin ruotsalaismediassa vuonna 2005.
Tuolloin kuninkaan salarakkaiksi leimattiin juorulehdissä kolme julkisuudesta tuttua naista, joita Kalle olisi tavannut Tukholman keskustassa sijaitsevassa asunnossaan.
Ruotsin kuningashuoneen juristit tutkivat asiaa, mutta eivät vetäneet tapausta oikeuteen. Samantyyppinen juttu Kallen väitetyistä naisystävistä julkaistiin myös muutamaa vuotta aiemmin, ja tuolloinkin hovi päätti olla puuttumatta asiaan.
Vuonna 2001 kunkun väitettiin vierailleen striptease-klubilla Atlantassa vuoden 1996 olympialaisten aikaan. Kyseisen baarin toimia tutkittiin epäiltyjen mafiakytkentöjen vuoksi, jolloin sen edustajat toivat esiin heillä vierailleita julkkisvieraita todistellakseen kunnollisuuttaan.
Nimien joukossa oli Ruotsin kuningas, jonka ravintolan edustaja väitti ottaneen yksityisen tanssiesityksen klubilla turvamiehen vahtiessa ovella. Hovi kiisti tiedon.

