Думаю сделать свой язык компилируемый в ява байт код, без совместимости с ява, принцип компиляции таков:
есть класс контейнер RTObject, структура как на jcc, только заточен под динамическую типизацию, модули библиотек написанных на самом языке и на ява наследуют от него.
Думаю сделать генерацию класса который наследует от RTObject, а функции генерировать в методы. А некоторые опкоды (например, доступ к элементу массива) заменить на вызов метода.
код на языке
код на ассемблере
код на ява ассемблере
примерно так.
Сам вопрос как сделать генерацию байт кода? слышал пару библиотек cglib, asm, javassist, но не знаю как ими пользоваться, как производить компиляцию. Или же просто сделать генерацию в .j а потом делать компиляцию в .class?

Берёшь какую-нибудь библиотеку, например ASM, открываешь по ней документацию.
У себя создаёшь Visitor и пишешь код с использованием библиотеки. Получается нечто подобное:

Открыть спойлер

Закрыть спойлер

[копировать] [скачать]

1. public class ClassCompiler implements Visitor {
2.  
3.     private String className;
4.     private ClassWriter cw;
5.     private MethodVisitor mw;
6.  
7.     public byte[] compile(Node node) {
8.         cw = new ClassWriter(ClassWriter.COMPUTE_MAXS);
9.         // public class Main
10.         className = "Main";
11.         cw.visit(V1_5, ACC_PUBLIC, className, null, "java/lang/Object", null);
12.  
13.         // public Main() {}
14.         final MethodVisitor constructor = cw.visitMethod(ACC_PUBLIC, "<init>", "()V", null, null);
15.         // pushes the 'this' variable
16.         constructor.visitVarInsn(ALOAD, 0);
17.         // invokes the super class constructor
18.         constructor.visitMethodInsn(INVOKESPECIAL, "java/lang/Object", "<init>", "()V", false);
19.         constructor.visitInsn(RETURN);
20.         // this code uses a maximum of one stack element and one local variable
21.         constructor.visitMaxs(1, 1);
22.         constructor.visitEnd();
23.  
24.         // public static void main(String[] args) { }
25.         mw = cw.visitMethod(ACC_PUBLIC | ACC_STATIC, "main", "([Ljava/lang/String;)V", null, null);
26.  
27.         // Compile code
28.         node.accept(this);
29.  
30.         mw.visitInsn(RETURN);
31.          // max stack and max locals automatically computed
32.         mw.visitMaxs(0, 0);
33.         mw.visitEnd();
34.  
35.         return cw.toByteArray();
36.     }
37.  
38.     @Override
39.     public void start(AssignmentNode node) {
40.         cw.visitField(ACC_PRIVATE | ACC_STATIC, node.variable, typeToJavaType(node.type), null, null);
41.     }
42.     @Override
43.     public void finish(AssignmentNode node) {
44.         mw.visitFieldInsn(PUTSTATIC, className, node.variable, typeToJavaType(node.type));
45.     }
46.  
47.     @Override
48.     public void start(PrintNode node) {
49.         mw.visitFieldInsn(GETSTATIC, "java/lang/System", "out", "Ljava/io/PrintStream;");
50.     }
51.     @Override
52.     public void finish(PrintNode node) {
53.         final String signature = "("+ typeToJavaType(node.expression.type()) + ")V";
54.         mw.visitMethodInsn(INVOKEVIRTUAL, "java/io/PrintStream", "println", signature, false);
55.     }
56.  
57.     // и т.д. и т.п.
58. }

В каждой ноде, как видно, два метода start и finish, то есть метод accept у PrintNode будет выглядеть как-то так:

Вместо отдельного визитора можешь прям в ноде создать соответствующий метод.
Смотри проект @aRiGaTo: https://github.com/NoxChimaera/borzhch-lang