Como puedo crear una calculadora de matrices en una ventana

Nuevamente yo, he terminado satisfactoriamente mi anterior proyecto gracias a algunos consejos que me proporcionaron, ahora tengo un problema mas grande. Tengo que iniciar un nuevo proyecto pero esta vez es de matrices, tengo la idea clara de como se hace una matriz en java pero referente a lo que es sumar, restar, multiplicar, etc., solo se hacerlo en papel. Lo que se me solicita es primero solicitar al usuario el tamaño ambas matrices y después que seleccione la operación (o en el caso viceversa, primero operación luego el ingreso del tamaño), ya después serian los valores.

Dejando un poco de lado la ventana que yo pienso es mas sencilla de hacer mi conflicto empieza con el simple hecho de que no se como hacer que se identifique el tamaño, se guarden la o las matrices, luego se guarde cada valor del usuario y al final se haga la operación correspondiente (aquí también sale cómo debo imprimirlo....).

Por favor alguien que me ayude a entender y me guié en como debo iniciar, desarrollar y finalizar este proyecto!
De antemano, gracias por tomarse el tiempo de leer.