معنى قوله كنت من الغافلين

في سورة يوسف ذُكر في أولها قوله تعالى عن القصة: "وإن كنت من قبله لمن الغافلين" أو نحوها، ولمن يكون هذا الخطاب مع أن النبي صلى الله عليه وسلم لم يكن موجوداً في تلك الفترة؟