Android mantiene las aplicaciones cerradas en la memoria el mayor tiempo posible para que cuando vuelvas a la aplicación siga estando en la memoria y se cargue más rápido que la carga desde la memoria interna o la tarjeta SD; pero si otra aplicación necesita memoria, las aplicaciones no utilizadas y las aplicaciones en segundo plano serán automáticamente forzadas a desaparecer para dar paso a la actividad en primer plano.
En resumen, Android no es Windows, no los trates igual.
Sólo debe forzar el cierre de las aplicaciones que se comportan mal, no para liberar memoria; sin un task killer dedicado, puede hacerlo desde Settings > Applications > Manage Applications > *name of application* > Force Stop