En 1904, Jim quitte la Première nation Sauk et Fox pour le college de Carlisle, où l'on rééduquait les enfants amérindiens. Sur le terrain de football (américain) comme sur les pistes d'athlétisme, l'entraineur Pop Warner va pousser Jim à donner le meilleur de lui-même, jusqu'aux podiums de Stockholm ou au fameux match contre les cadets de West Point dirigés par Ike Eisenhower.
