Паспорт у крестьян в царской России требовался, если крестьянин ехал
на длительный срок (вроде бы неделю и больше) на расстояние более 50 верст от дома. Так что тем, кто жил у себя в деревне безвыездно, паспортов не давали (и им и не требовалось). И Советская власть просто переняла эту традицию. Другое дело, что на нее были нанесены некоторые особенности, не дающие возможности перебраться в города. Но говорить, что крестьян лишили (именно лишили, отобрали) паспортов, нельзя.