公安机关扣留人员的时间限制主要依据《中华人民共和国刑事诉讼法》和《中华人民共和国治安管理处罚法》等相关法律规定。以下是具体的扣留时间限制：
对于不需要逮捕、拘留的犯罪嫌疑人，可以传唤到其所在市、县内的指定地点或其住处进行讯问，时间不得超过十二小时。
对于违反治安管理行为人，公安机关传唤后应当及时询问查证，时间不得超过八小时；若情况复杂，可能适用行政拘留处罚，则询问查证的时间不得超过二十四小时。
公安机关拘留人的时候，必须出示拘留证，拘留后应当立即将被拘留人送看守所羁押，至迟不得超过二十四小时。
行政拘留的期限最长不得超过十五日。
刑事拘留的期限通常较长，但最长不得超过三十七天。
如果案情特别重大、复杂，需要采取拘留、逮捕措施的，传唤、拘传持续的时间不得超过二十四小时。
对于涉嫌危害国家安全犯罪、恐怖活动犯罪，通知可能有碍侦查的情形，拘留后通知家属的时间可以延迟，直到有碍侦查的情形消失。
综上所述，公安机关扣留人员的时间限制在一般情况下为十二小时，特殊情况下可延长至二十四小时，而刑事拘留的最长期限为三十七天。
建议：
公安机关在扣留人员时，应严格遵守法律规定，确保程序的合法性和正当性。
被拘留人员及其家属应了解自身权益，及时与公安机关沟通，确保合法权益不受侵犯。