Amikor törölsz egyet, akkor már kevesebb, mint 10 eleme van a listának. Mondjuk csináld fordítva:

                for (int i=9; i>=0; i--) {
                    if (jatekosok[i].xhely>=100) {
                        jatekosok.RemoveAt(i);
                        Invalidate();
                    }
                }