He keeps outdoing his classmates in math competitions.

outdoing 是动词 outdo 的现在分词形式。outdo 由前缀 out-（表示"超过"）和动词 do（做）组成，意思是"做得比...更好"或"超越"。outdoing 在这里表示"持续超越"的动作。