Sí, un juego de auriculares "normal" funcionará perfectamente, de forma muy parecida a como funciona un auricular de un solo canal en una toma de auriculares estéreo. Los otros bits son para el micrófono y los controles, pero como tus auriculares no tienen esos no importará.
He tenido la oportunidad de usar auriculares de primera generación de iPod, así como algunos auriculares genéricos en mi Galaxy Nexus. Mi hija usa un par de auriculares que tenía tirados (que probablemente tienen diez años) en su teléfono cuando está en casa escuchando música. En peor puede que descubras que un canal no funciona (no hay sonido en un oído) pero no tienes que preocuparte de que se produzca un cortocircuito o se dañe algo.
Wikipedia tiene más información de la que podrías querer saber sobre los conectores de 3,5 mm.