ここ10年あたりで、IBM Mainframe+Javaによる、大規模基幹系システムを構築する例がある。
ただ、これを金融機関で作るとなると、相当ACIDを求められる。
某社のミドルフレームワークを一度みたことがあるが、z/OS+Websphere Application Server(WAS)+DB2で構築している例があると聞いている。
WAS単体で不十分でMQなどのミドルウェアを追加している模様。
詳しくはみてないので実際のところは不明です。
この辺あたりは、ACIDを高いレベルで実現するために必要なんだろうと推察される。
ミドルウェアが多数介在するのでパフォーマンスは落ちるとも推察される。
世界ではCOBOLエンジニアが多いのだが、日本ではネガティブなイメージがある。
Javaのエンジニアはプログラマーは多いので、Javaベースの基幹系という選択肢は日本ではありかも知れない。

個人的には、オープン系も含めて、一番優秀なトランザクションマネージャーとしては、IMSだと思っている。個人的にはCICSの経験もあるが、こちらは大規模系に対応するために結構複雑になる傾向にある。

個人的には、z/OS+IMS+Java+DB2というシステムがいいのではないかと考えている。
IMS自体は結構前からJavaをサポートしている。
通常IMSでは、オンラインリージョンMPP、バッチリージョンBMPをいうのがあるが。Java用ということで、オンラインリージョンJMP、バッチリージョンJBPというのが用意されている。このリージョンではJavaアプリが稼働可能である。
今までのIMSアプリではDL/Iを用いて、電文をやり取りをするが、Javaの場合はこれに相当するJavaClassが用意されている。
これで今までのIMS TMの機能をJavaでも実装可能だと思われます。
さすがにIMSDBでは運用が複雑なので、DB2がよいかと思います。
IMS自体で相当なACIDが確保されているので、かなり単純に作れるように思う。
多少のパフォーマンス劣化はあるかもしれないが、WAS＋その他で構築するシステムよりはスマートでACIDを確保するシステムができると考える。

http://pic.dhe.ibm.com/infocenter/eiic/v1r1/topic/com.ibm.ims.doc/dfsjavfb.pdf

どうせメインフレームで作るのであれば、IMSを使わない手はないと考えるのですが。

個人的にはこの組み合わせを提案したいと考えます。