Il faut appliquer l'inverse des transformations qui sont appliquées à ton rectangle. Je ne sais pas comment tu les gères, donc je ne peux pas te dire concrètement comment faire.
Ensuite, une fois dans le repère local du rectangle, celui-ci est définit par le rectangle aligné [0, 0, width, height] (ou bien [0,0, 1, 1] si tu inclus la taille dans les transformations, ou au contraire [x, y, width, height] si tu n'inclues que la rotation), il ne te reste plus qu'à tester ce rectangle avec ton point transformé.