Solo permita los números XML

//PUT IN YOUR XML FILE
android:inputType="number" 
Zarden