codegen.scm

   1 (load "typecheck.scm")
   2 (load "ast.scm")
   3 (load "platform.scm")
   4
   5 (define target host-os)
   6
   7 (define (emit . s)
   8   (begin
   9     (apply printf s)
  10     (display "\n")))
  11
  12 (define (codegen-add xs si env)
  13   (define (go ys)
  14     (if (null? ys)
  15         (emit "movq ~a(%rbp), %rax" si)
  16         (begin
  17           (let ((y (car ys)))
  18             (if (integer? y)
  19                 (emit "addq $~a, ~a(%rbp)" y si)
  20                 (begin
  21                   (codegen-expr y (- si wordsize) env)
  22                   (emit "addq %rax, ~a(%rbp)" si))))
  23           (go (cdr ys)))))
  24   (begin
  25                                         ; use si(%rbp) as the accumulator
  26     (emit "movq $0, ~a(%rbp)" si)
  27     (go xs)))
  28
  29 (define (codegen-binop opcode)
  30   (lambda (a b si env)
  31     (codegen-expr b si env)
  32     (emit "movq %rax, ~a(%rbp)" si)
  33     (codegen-expr a (- si wordsize) env)
  34     (emit "~a ~a(%rbp), %rax" opcode si)))
  35
  36 (define codegen-sub (codegen-binop "sub"))
  37
  38 (define codegen-mul (codegen-binop "imul"))
  39
  40 (define (codegen-not x si env)
  41   (codegen-expr x si env)
  42   (emit "notq %rax")
  43   (emit "andq $1, %rax"))
  44
  45 (define (codegen-eq a b si env)
  46   (codegen-expr a si env)
  47   (emit "movq %rax, ~a(%rbp)" si)
  48   (codegen-expr b (- si wordsize) env)
  49   (emit "## ~a = ~b" a b)
  50   (emit "cmpq ~a(%rbp), %rax" si)
  51   (emit "sete %al"))
  52
  53                                         ; 'write file handle addr-string num-bytes
  54
  55 (define (codegen-print x si env)
  56   (codegen-expr x si env) ; x should be a static-string, producing a label
  57
  58                                         ; make a copy of string address since %rax and %rdi are clobbered
  59   (emit "mov %rax, %rbx")
  60
  61                                         ; get the length of the null terminated string
  62   (emit "mov %rax, %rdi")
  63   (emit "xor %al, %al")   ; set %al to 0
  64   (emit "mov $-1, %rcx") ; max search length = max int = -1
  65   (emit "cld")           ; clear direction flag, search up in memory
  66   (emit "repne scasb")   ; scan string, %rcx = -strlen - 1 - 1
  67
  68   (emit "not %rcx")      ; -%rcx = strlen + 1
  69   (emit "dec %rcx")
  70
  71   (emit "movq %rbx, %rsi") ; string addr
  72   (emit "movq %rcx, %rdx") ; num bytes
  73   (emit "movq $1, %rdi")   ; file handle (stdout)
  74   (case target
  75     ('darwin (emit "mov $0x2000004, %rax")) ; syscall 4 (write)
  76     ('linux  (emit "mov $1, %rax"))) ; syscall 1 (write)
  77   (emit "syscall"))
  78
  79 (define (range s n)
  80   (if (= 0 n) '()
  81       (append (range s (- n 1))
  82               (list (+ s (- n 1))))))
  83
  84 (define wordsize 8)
  85
  86 (define (codegen-let bindings body si env)
  87   (let* ((stack-offsets (map (lambda (x) (- si (* x wordsize)))
  88                              (range 0 (length bindings))))
  89          (inner-si (- si (* (length bindings) wordsize)))
  90          (names (map car bindings))
  91          (exprs (map cadr bindings))
  92
  93                                         ; recursive let bindings: build environment as we go
  94          (inner-env (fold-left
  95                      (lambda (env name expr offset)
  96                        (codegen-expr expr inner-si env)
  97                        (emit "movq %rax, ~a(%rbp)" offset)
  98                        (cons (cons name offset) env))
  99                      env names exprs stack-offsets)))
 100     (for-each (lambda (form)
 101                 (codegen-expr form inner-si inner-env))
 102               body)))
 103
 104 (define (codegen-var name si env)
 105   (when (not (assoc name env))
 106     (error #f (format "Variable ~a is not bound" name)))
 107   (let ((offset (cdr (assoc name env))))
 108     (emit "movq ~a(%rbp), %rax" offset)))
 109
 110 (define cur-lambda 0)
 111 (define (fresh-lambda)
 112   (set! cur-lambda (+ 1 cur-lambda))
 113   (format "_lambda~a" (- cur-lambda 1)))
 114
 115                                         ; a closure on the heap looks like:
 116                                         ; 0    8         16        24
 117                                         ; addr var1....  var2....  var3....
 118
 119 (define (codegen-closure label captured si env)
 120   (let* ((heap-offsets (map (lambda (i) (+ 8 (* 8 i)))
 121                             (range 0 (length captured))))) ; 4, 12, 20, etc.
 122
 123     (emit "## creating closure")
 124
 125     (emit "movq heap_start@GOTPCREL(%rip), %rbx")
 126
 127     (emit "movq (%rbx), %rax")          ; %rax = heap addr of closure
 128
 129
 130     ; point heap_start to next space
 131     (emit "addq $~a, (%rbx)" (+ 8 (* 8 (length captured))))
 132
 133     (emit "## storing address to lambda")
 134                                         ; store the address to the lambda code
 135     (emit "movq ~a@GOTPCREL(%rip), %rbx" label)
 136     (emit "movq %rbx, 0(%rax)")
 137
 138     (emit "## storing captives")
 139                                         ; store the captured vars
 140     (for-each
 141      (lambda (var-name new-offset)
 142        (begin
 143          (emit "movq ~a(%rbp), %rbx" (cdr (assoc var-name env)))
 144          (emit "movq %rbx, ~a(%rax)" new-offset)))
 145      captured
 146      heap-offsets)))
 147
 148                                         ; for now we can only call closures
 149 (define (codegen-call f args si env)
 150   (codegen-expr f si env)
 151
 152   (emit "## starting call")
 153
 154   (emit "movq %rax, ~a(%rbp)" si) ; store address of closure first on stack
 155
 156                                         ; codegen the arguments, store them intermediately
 157   (for-each
 158    (lambda (e i)
 159      (begin
 160        (emit "## arg no. ~a" (- i 1))
 161        (codegen-expr e (- si (* wordsize i)) env)
 162                                         ; store intermediate result on stack
 163        (emit "movq %rax, ~a(%rbp)" (- si (* wordsize i)))))
 164
 165    args (range 1 (length args)))
 166
 167                                         ; now that we have everything we need on the stack,
 168                                         ; move them into the param registers
 169
 170   (emit "## moving args into place")
 171   (for-each
 172    (lambda (i) (emit "movq ~a(%rbp), ~a"
 173                      (- si (* wordsize i))
 174                      (param-register i)))
 175    (range 1 (length args)))
 176
 177                                         ; todo: can this be made more efficient
 178   (emit "movq ~a(%rbp), %rax" si)       ; load back pointer to closure
 179
 180   (emit "## moving captives into place")
 181
 182                                         ; move captives into first argument
 183   (emit "movq %rax, %rbx")
 184   (emit "addq $8, %rbx")
 185   (emit "movq %rbx, ~a" (param-register 0))
 186
 187   (emit "## performing call")
 188
 189   (emit "addq $~a, %rsp" si) ; adjust the stack pointer to account all the stuff we put in the env
 190   (emit "callq *(%rax)")                ; call closure function
 191   (emit "subq $~a, %rsp" si))
 192
 193                                         ; LAMBDAS:
 194                                         ; 1st param: pointer to captured args
 195                                         ; 2nd param: 1st arg
 196                                         ; 3rd param: 2nd arg, etc.
 197
 198 (define (codegen-lambda l)
 199   (let* ((label (car l))
 200          (stuff (cdr l))
 201          (captured (car stuff))
 202          (args (cadr stuff))
 203          (body (caddr stuff))
 204                                         ; params = what actually gets passed
 205          (params (append captured args))
 206
 207          (stack-offsets (map (lambda (i)
 208                                (* (- wordsize) i))
 209                              (range 0 (length params))))
 210
 211          (env (map cons params stack-offsets)))
 212     (emit "~a:" label)
 213
 214     (display "## lambda captives: ")
 215     (display captured)
 216     (newline)
 217     (display "## lambda args: ")
 218     (display args)
 219     (newline)
 220     (display "## lambda body: ")
 221     (display body)
 222     (newline)
 223
 224     (emit "push %rbp") ; preserve caller's base pointer
 225
 226     (emit "movq %rsp, %rbp") ; set up our own base pointer
 227     (emit "subq $8, %rbp")
 228
 229                                         ; load the captured vars onto the stack
 230     (for-each
 231      (lambda (i)
 232        (begin
 233          (emit "movq ~a(~a), %rbx" i (param-register 0))
 234          (emit "movq %rbx, ~a(%rbp)" (* (- wordsize) i))))
 235      (range 0 (length captured)))
 236
 237                                         ; load the args onto the stack
 238     (for-each
 239      (lambda (i)
 240        (begin
 241          (emit "movq ~a, %rbx" (param-register (+ 1 i)))
 242          (emit "movq %rbx, ~a(%rbp)"
 243                (* (- wordsize)
 244                   (+ (length captured) i)))))
 245      (range 0 (length args)))
 246
 247     (codegen-expr body (* (- wordsize) (+ 1 (length params))) env)
 248
 249     (emit "pop %rbp") ; restore caller's base pointer
 250     (emit "ret")))
 251
 252 (define cur-label 0)
 253 (define (fresh-label)
 254   (set! cur-label (+ 1 cur-label))
 255   (format "label~a" (- cur-label 1)))
 256
 257 (define (codegen-if cond then else si env)
 258   (codegen-expr cond si env)
 259   (emit "cmpq $0, %rax")
 260   (let ((exit-label (fresh-label))
 261         (else-label (fresh-label)))
 262     (emit "je ~a" else-label)
 263     (codegen-expr then si env)
 264     (emit "jmp ~a" exit-label)
 265     (emit "~a:" else-label)
 266     (codegen-expr else si env)
 267     (emit "~a:" exit-label)))
 268
 269 (define (codegen-expr e si env)
 270   (emit "# ~a" e)
 271   (case (ast-type e)
 272     ('closure (codegen-closure (cadr e) (caddr e) si env))
 273     ('app
 274      (case (car e)
 275        ('+ (codegen-add (cdr e) si env))
 276        ('- (codegen-sub (cadr e) (caddr e) si env))
 277        ('* (codegen-mul (cadr e) (caddr e) si env))
 278        ('! (codegen-not (cadr e) si env))
 279        ('= (codegen-eq  (cadr e) (caddr e) si env))
 280        ('bool->int (codegen-expr (cadr e) si env))
 281        ('print (codegen-print (cadr e) si env))
 282        (else (codegen-call (car e) (cdr e) si env))))
 283
 284                                         ; this is a builtin being passed around as a variable
 285     ('builtin (emit "movq $~a, %rax" (builtin-id e)))
 286
 287     ('let (codegen-let (let-bindings e)
 288                        (let-body e)
 289                        si
 290                        env))
 291
 292     ('var (codegen-var e si env))
 293
 294     ('if (codegen-if (cadr e) (caddr e) (cadddr e) si env))
 295
 296     ('bool-literal (emit "movq $~a, %rax" (if e 1 0)))
 297     ('int-literal (emit "movq $~a, %rax" e))
 298
 299     ('static-string (emit "movq ~a@GOTPCREL(%rip), %rax"
 300                           (cadr e)))
 301
 302     (else (error #f "don't know how to codegen this"))))
 303
 304
 305
 306 (define (free-vars prog)
 307   (define bound '())
 308   (define (collect e)
 309     (case (ast-type e)
 310       ('builtin '()) ; do nothing
 311       ('var (if (memq e bound) '() (list e)))
 312       ('lambda
 313           (set! bound (append (lambda-args e) bound))
 314         (collect (lambda-body e)))
 315
 316       ('app (fold-map collect e))
 317       ('let
 318           (let ((bind-fvs (fold-map (lambda (a)
 319                                       ((set! bound (cons (car a) bound))
 320                                        (collect (cdr a))))
 321                                     (let-bindings cadr)))
 322                 (body-fvs (fold-map collect (let-body e))))
 323             (append bind-fvs body-fvs)))
 324       (else '())))
 325   (collect prog))
 326
 327                                         ; ((lambda (x) (+ x y)) 42) => ((closure lambda1 (y)) 42)
 328                                         ;                              [(lambda1 . ((y), (x), (+ x y))]
 329                                         ; for builtins, this generates a closure if it is used
 330                                         ; outside of an immediate app
 331                                         ; but only one closure for each builtin
 332
 333 (define (extract-lambdas program)
 334   (define lambdas '())
 335   (define (add-lambda e)
 336     (let* ((label (fresh-lambda))
 337            (args (lambda-args e))
 338            (captured (free-vars e))
 339            (body (extract (lambda-body e)))
 340            (new-lambda (cons label (list captured args body))))
 341       (set! lambdas (cons new-lambda lambdas))
 342       `(closure ,label ,captured))) ; todo: should we string->symbol?
 343
 344   (define (find-builtin-lambda e)
 345     (let [(l (assq (builtin-name e) lambdas))]
 346       (if l `(closure ,(car l) ,(caadr l)) #f)))
 347
 348   (define (builtin-name e)
 349     (case e
 350       ('+ "_add")
 351       ('- "_sub")
 352       ('* "_mul")
 353       ('! "_not")
 354       ('= "_eq")
 355       ('bool->int "_bool2int")
 356       ('print "_print")
 357       (else (error #f "don't know this builtin"))))
 358   (define (builtin-args e)
 359     (case e
 360       ('+ '(x y))
 361       ('- '(x y))
 362       ('* '(x y))
 363       ('! '(x))
 364       ('= '(x y))
 365       ('bool->int '(x))
 366       ('print '(x))
 367       (else (error #f "don't know this builtin"))))
 368
 369   (define (add-builtin-lambda e)
 370     (let* [(label (builtin-name e))
 371            (captured '())
 372            (args (builtin-args e))
 373            (body `(,e ,@args))
 374            (new-lambda (cons label (list captured args body)))]
 375       (set! lambdas (cons new-lambda lambdas))
 376       `(closure ,label ,captured)))
 377
 378   (define (extract e)
 379     (case (ast-type e)
 380       ('lambda (add-lambda e))
 381       ('let `(let ,(map extract (let-bindings e))
 382                ,@(map extract (let-body e))))
 383       ('app (append
 384                                         ; if a builtin is used as a function, don't generate lambda
 385              (if (eqv? 'builtin (ast-type (car e)))
 386                  (list (car e))
 387                  (list (extract (car e))))
 388              (map extract (cdr e))))
 389
 390       ('builtin
 391        (if (find-builtin-lambda e)
 392            (find-builtin-lambda e)
 393            (add-builtin-lambda e)))
 394
 395
 396       (else (ast-traverse extract e))))
 397   (let ((transformed (extract program)))
 398     (cons lambdas transformed)))
 399
 400 (define (extract-strings program)
 401   (let ((cur-string 0)
 402         (strings '())) ; assoc list of labels -> string
 403     (define (fresh-string)
 404       (set! cur-string (+ cur-string 1))
 405       (format "string~a" (- cur-string 1)))
 406     (define (extract e)
 407       (case (ast-type e)
 408         ('string-literal
 409          (let ((label (fresh-string)))
 410            (set! strings (cons (cons label e) strings))
 411            `(static-string ,label)))
 412         (else (ast-traverse extract e))))
 413     (let ((transformed (extract program)))
 414       (cons strings transformed))))
 415
 416 (define (emit-string-data s)
 417   (emit "~a:" (car s))
 418   (emit "\t.string \"~a\"" (cdr s)))
 419
 420 ;; (define (amd64-abi f)
 421 ;;                                      ; preserve registers
 422 ;;   (emit "push %rbp")
 423 ;;   ;; (emit "push %rbx")
 424 ;;   ;; (for-each (lambda (i)
 425 ;;   ;;               (emit (string-append
 426 ;;   ;;                      "push %r"
 427 ;;   ;;                      (number->string i))))
 428 ;;   ;;             '(12 13 14 15))
 429
 430 ;;   (emit "movq %rsp, %rbp")              ; set up the base pointer
 431
 432 ;;   (f) ; call stuff
 433 ;;                                      ; restore preserved registers
 434 ;;   ;; (for-each (lambda (i)
 435 ;;   ;;               (emit (string-append
 436 ;;   ;;                      "pop %r"
 437 ;;   ;;                      (number->string i))))
 438 ;;   ;;             '(15 14 13 12))
 439 ;;   ;; (emit "pop %rbx")
 440 ;;   (emit "pop %rbp")
 441 ;;   (emit "ret"))
 442
 443                                         ; 24(%rbp) mem arg 1
 444                                         ; 16(%rbp) mem arg 0          prev frame
 445                                         ; -----------------------
 446                                         ;  8(%rbp) return address     cur frame
 447                                         ;  0(%rbp) prev %rbp
 448                                         ; -8(%rbp) do what you want
 449                                         ;  ...     do what you want
 450                                         ;  0(%rsp) do what you want
 451
 452 (define (param-register n)
 453   (case n
 454     (0 "%rdi")
 455     (1 "%rsi")
 456     (2 "%rdx")
 457     (3 "%rcx")
 458     (4 "%r8")
 459     (5 "%r9")
 460     (else (error #f "need to test out the below"))
 461     (else (format "~a(%rsp)" (- n 6)))))
 462
 463 (define (initialize-heap)
 464   (let ((mmap
 465          (case target
 466            ('darwin "0x20000c5")
 467            ('linux "9"))))
 468                                         ; allocate some heap memory
 469     (emit "mov $~a, %rax" mmap) ; mmap
 470     (emit "xor %rdi, %rdi")  ; addr = null
 471     (emit "movq $1024, %rsi")   ; length = 1kb
 472     (emit "movq $0x3, %rdx") ; prot = read | write = 0x2 | 0x1
 473                                         ;    flags = anonymous | private
 474     (case target
 475       ('darwin (emit "movq $0x1002, %r10")) ; anon = 0x1000, priv = 0x02
 476       ('linux (emit "movq $0x22, %r10")))   ; anon = 0x20,   priv = 0x02
 477     (emit "movq $-1, %r8") ; fd = -1
 478     (emit "xor %r9, %r9") ; offset = 0
 479     (emit "syscall")
 480                                         ; %rax now contains pointer to the start of the heap
 481                                         ; keep track of it
 482
 483     (emit "movq heap_start@GOTPCREL(%rip), %rsi")
 484     (emit "movq %rax, (%rsi)")))
 485
 486 (define (codegen program)
 487   (set! cur-label 0)
 488   (set! cur-lambda 0)
 489   (let* ((extract-res-0 (extract-strings program))
 490          (strings (car extract-res-0))
 491          (extract-res-1 (extract-lambdas (cdr extract-res-0)))
 492          (lambdas (car extract-res-1))
 493          (xform-prog (cdr extract-res-1)))
 494
 495     (emit "\t.global _start")
 496     (emit "\t.text")
 497                                         ;    (emit ".p2align 4,,15") is this needed?
 498
 499     (for-each codegen-lambda lambdas)
 500
 501     (emit "_start:")
 502
 503     (initialize-heap)
 504
 505     (emit "movq %rsp, %rbp")            ; set up the base pointer
 506     (codegen-expr xform-prog 0 '())
 507
 508                                         ; exit syscall
 509     (emit "mov %rax, %rdi")
 510     (case target
 511       ('darwin (emit "movq $0x2000001, %rax"))
 512       ('linux (emit "mov $60, %rax")))
 513     (emit "syscall")
 514
 515     (emit ".data")
 516
 517     (emit "heap_start:")
 518     (emit "\t.quad 0")
 519
 520     (for-each emit-string-data strings)))
 521
 522 (define (compile-to-binary program output t)
 523   (set! target t)
 524   (when (not (eq? (typecheck program) 'int)) (error #f "not an int"))
 525   (let ([tmp-path "/tmp/a.s"])
 526     (when (file-exists? tmp-path) (delete-file tmp-path))
 527     (with-output-to-file tmp-path
 528       (lambda () (codegen program)))
 529
 530     (case target
 531       ('darwin
 532        (system "as /tmp/a.s -o /tmp/a.o")
 533        (system (format "ld /tmp/a.o -e _start -macosx_version_min 10.14 -static -o ~a" output)))
 534       ('linux
 535        (system "as /tmp/a.s -o /tmp/a.o")
 536        (system (format "ld /tmp/a.o -o ~a" output))))))
 537
 538 ; NOTES
 539 ; syscalls in linux and darwin use the following arguments for syscall instruction:
 540 ; %rax = syscall #
 541 ; %rdi = 1st arg
 542 ; %rsi = 2nd arg
 543 ; %rdx = 3rd arg
 544 ; %r10 = 4th arg
 545 ; %r8  = 5th arg
 546 ; %r9  = 6th arg
 547
 548 ; on darwin, the syscall is offset by 0x2000000
 549 ; https://opensource.apple.com/source/xnu/xnu-2782.20.48/bsd/kern/syscalls.master
 550 ; documentation for most syscalls: /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX.sdk/usr/include/sys