Die zunehmende Digitalisierung in Deutschland ist insbesondere in den Lernumwelten von Schüler:innen zu beobachten. So haben auch Schulvergleichsuntersuchungen zuletzt von papier- auf computerbasierte Tests umgestellt. In TIMSS 2019 wurde diese Umstellung durch eine Moduseffektstudie begleitet. Zwei Jahre vor der Haupterhebung nahmen 847 Viertklässler:innen an dieser Studie teil und bearbeiteten nach dem Zufallsprinzip entweder zuerst den papier- oder den computerbasierten Kompetenztest in Mathematik und den Naturwissenschaften. Wir gehen in diesem Beitrag der Frage nach, inwieweit der Lösungserfolg bei der Aufgabenbearbeitung vom Erhebungsmodus abhängt. Wir führen dazu erstens eine Generalisierbarkeitsstudie durch und bestimmen den Anteil der Varianz in den Schüler:innenantworten, der auf Moduseffekte zurückgeht. Zweitens wird untersucht, ob die Zusammenhänge zwischen schwierigkeitsgenerierenden Merkmalen der Testaufgaben und dem Lösungserfolg der Schüler:innen von Moduseffekten betroffen sind. Die Ergebnisse zeigen, dass die Erfassung der Schüler:innenkompetenzen in beiden Domänen mit kleinen Moduseffekten einhergeht. Der Lösungserfolg ist in den computerbasierten Leistungstests etwas niedriger (Mathematik: OR = 0.87, p = .006, Naturwissenschaften: OR = 0.86, p = .006). In Mathematik gilt dies besonders für Aufgaben in den Bereichen Daten und Problemlösen, für die Naturwissenschaften lässt sich keine entsprechende Aussage treffen. Die Bedeutsamkeit dieser Befunde für Schulvergleichsuntersuchungen und die unterrichtliche Praxis in Deutschland wird im Beitrag kritisch diskutiert.