En Fait
Les recourants A. et [B.X.] ont formé opposition contre les décisions de taxation de l'administration cantonale de l'impôt fédéral direct du canton de Schwyz pour les périodes d'imposition 1997/98 et 1999/2000. La commission cantonale des impôts du canton de Schwyz a rejeté l'opposition. Les recourants ont alors saisi le tribunal administratif du canton de Schwyz, qui a rejeté le recours le 16 mars 2005. Les recourants ont demandé au Tribunal fédéral d'annuler la décision du tribunal administratif et de procéder à une nouvelle taxation de l'impôt fédéral direct pour les périodes d'imposition 1997/98 et 1999/2000.
Les recourants ont fait valoir que le mari [A.X.] , en tant que conseiller fiscal indépendant, exerçait une activité lucrative indépendante et pouvait donc déduire les pertes de son activité lucrative indépendante du revenu de son activité lucrative dépendante. Cependant, l'instance précédente a conclu que le mari avait abandonné son activité indépendante à la fin de 1996 et ne pouvait donc plus prétendre à des déductions.
En Droit
Le Tribunal fédéral a examiné si l'instance précédente avait violé le droit fédéral. Il a constaté que les recourants étaient touchés par la décision attaquée et étaient habilités à recourir. Le Tribunal fédéral n'est pas lié, dans la procédure de recours en matière de droit public, aux demandes des parties ni à leur motivation et peut accueillir le recours pour d'autres motifs que ceux invoqués dans la procédure.
Le Tribunal fédéral a examiné si le mari [A.X.] avait exercé une activité lucrative indépendante au cours des exercices comptables pertinents 1995/96 et 1997/98. Il a constaté que l'instance précédente, sur la base d'une appréciation de l'ensemble des circonstances, était parvenue à la conclusion qu'il n'y avait pas d'activité lucrative indépendante. Cette conclusion n'est pas critiquable, dans la mesure où le mari, selon ses propres déclarations, n'avait plus…