玫瑰花茶是一种比较温和的茶，大多数人都可以享用。然而，以下人群需要谨慎或避免饮用玫瑰花茶：
1. 孕妇和哺乳期妇女：因为目前还没有科学研究证明玫瑰花茶对孕妇和哺乳期妇女是否安全，所以建议不要饮用。
2. 肝肾损伤患者：玫瑰花茶中含有挥发性油脂和酚类物质，对肝肾功能有一定负担，患有肝肾损伤的人群建议避免饮用。
3. 对花粉过敏的人：玫瑰花茶可能会引起花粉过敏症状，如打喷嚏、鼻塞、流涕等。对花粉过敏的人建议避免饮用或咨询医生建议后再饮用。
4. 腹泻或肠胃不适的人：玫瑰花茶可以增加肠胃蠕动和分泌胃液，如果本身已经患有腹泻或肠胃不适，饮用玫瑰花茶可能会使症状加重，建议避免饮用。