Más información en Button & img, botón de formulario con icono
<input type="submit" value="Eliminar" />
<button type="submit">Eliminar</button>
Eliminar
<img src="../ico/delete.gif" alt="x" /> <button type="submit">Eliminar</button>