Solo se puede poner una vivienda (da igual si es prefabricada o como sea) en terreno rustico si tienes un proyecto agropecuario y te lo aprueban.
Es decir si montas un vivero, un refugio de animales, pupilaje de caballos, etc.
Los requisitos dependen de la comunidad autónoma y ayuntamiento, y normalmente el tamaño mínimo es uno de ellos.
En la práctica como estamos en españistan, lo mejor es tantear al concejal de turno para ver por dónde respira. Al final va depender de él si te dejan o no.
Los que estáis pensando en un terreno alejado y barato, y solo vais a vivir sin desarrollar ninguna actividad, mejor olvidarlo.