Er hat damit schon recht. Es trifft ja selten der Fall zu das diese Person jemand ist den nur alleine IHR kennt. Gerade bei der hier schon manch einmal erwähnten Freundin/alten Liebe trifft dies auch zu, ausser Ihr habt alle Kontakte abgebrochen.
Da wir leider in keinem Anime leben, wird auch jemanden auffallen das ihm/ihr bestimmte Erinnerungen fehlen und spätestens dann wird gebohrt. Die Unbeteiligten wissen ja von diesem "Zauber" nichts und werden es daher auch nicht stillschweigend hinnehmen.