No, debería estar bien siempre que el cargador sea para un teléfono móvil.
La mayoría de los principales fabricantes de teléfonos móviles se adhieren a las especificaciones de carga de teléfonos móviles de la Comisión Electrotécnica Internacional, que especifica el uso del estándar de carga micro USB. Los USB 1.0 y 2.0 son capaces de suministrar 0,5A a 5V y los USB 3.0 son capaces de suministrar 0,9A a 5V. No todos los cargadores se adhieren a esas especificaciones, pero la mayoría de los cargadores de teléfonos ofrecen una carga en algún punto de ese rango. He tenido varios cargadores de teléfonos de HTC, Samsung, Motorola y algunos de otras marcas y todos son de 5V y dan entre 750mA y 1A.
Además, tu teléfono móvil tiene un circuito de control de carga y un circuito de protección de voltaje que protege al dispositivo de una alimentación fuera de sus especificaciones aceptables. Creo que también monitorea la temperatura y terminará la carga si cae fuera de una especificación aceptable, pero no estoy seguro de eso.
Algunas tabletas, como la Nexus 7, vienen con cargadores que emiten 2,1A a 5V. El uso de este cargador cargará el teléfono más rápido, pero también hará que la batería se caliente más. El exceso de calor puede degradar la vida de una batería, así que yo no haría un hábito de usar un cargador de tablet en su teléfono.