No, no se puede cambiar la resolución de Android en VNC de forma estándar. Sin embargo, algunos teléfonos Android tienen funciones adicionales para soportar HDMI (lo que resulta en la ejecución de Android en una resolución más alta). Si de alguna manera puedes aprovechar esa funcionalidad junto con VNC, entonces podrías conseguir una opción de 480p, 720p y 1080p. Pero esto es algo que sería muy personalizado para un solo teléfono, ya que todas las diferentes implementaciones de HDMI parecen variar enormemente. Otra opción que sería otra posibilidad única (con algo de trabajo personalizado) sería si tu teléfono soporta la funcionalidad de WebTop. Si es así, tal vez puedas aprovecharla.
Sin embargo, no hay ninguna aplicación de terceros que haga lo que tú quieres. Para ello, tendrás que desarrollar o encontrar a alguien que desarrolle esta solución tan personalizada.
Como otros han sugerido, probablemente no vas a conseguir mucho más que cambiar la Densidad del LCD, que claramente no es lo que buscas.