如果别人拿到了你的存折，他们原则上是不能直接取走你的钱的。这是因为取款通常需要以下几种验证：

1. 密码：大多数银行账户在取款时都需要输入密码，只有知道密码的人才能进行取款操作。

2. 身份证：在一些情况下，如大额取款，银行可能还会要求提供身份证件以确认取款人的身份。

3. 签名：某些情况下，银行可能还会要求取款人在取款单上签名，以确保取款人是账户持有人。

然而，如果你的存折丢失或被盗，你应该立即向银行报告并冻结你的账户，以防有人试图使用你的信息进行非法取款。此外，如果你的存折和身份证一起丢失，那么风险会更大，因为有人可能会尝试通过伪造签名等方式进行取款。因此，保护好你的个人信息是非常重要的。