codegen.scm

   1 (load "typecheck.scm")
   2 (load "ast.scm")
   3
   4 (define target 'darwin)
   5
   6 (define (emit . s)
   7   (begin
   8     (apply printf s)
   9     (display "\n")))
  10
  11 (define (codegen-add xs si env)
  12   (define (go ys)
  13     (if (null? ys)
  14       (emit "movq ~a(%rbp), %rax" si)
  15       (begin
  16         (let ((y (car ys)))
  17              (if (integer? y)
  18                  (emit "addq $~a, ~a(%rbp)" y si)
  19                  (begin
  20                    (codegen-expr y (- si wordsize) env)
  21                    (emit "addq %rax, ~a(%rbp)" si))))
  22         (go (cdr ys)))))
  23   (begin
  24                                         ; use si(%rbp) as the accumulator
  25     (emit "movq $0, ~a(%rbp)" si)
  26     (go xs)))
  27
  28 (define (codegen-binop opcode)
  29   (lambda (a b si env)
  30     (codegen-expr b si env)
  31     (emit "movq %rax, ~a(%rbp)" si)
  32     (codegen-expr a (- si wordsize) env)
  33     (emit "~a ~a(%rbp), %rax" opcode si)))
  34
  35 (define codegen-sub (codegen-binop "sub"))
  36
  37 (define codegen-mul (codegen-binop "imul"))
  38
  39 (define (codegen-not x si env)
  40   (codegen-expr x si env)
  41   (emit "notq %rax")
  42   (emit "andq $1, %rax"))
  43
  44 (define (codegen-eq a b si env)
  45   (codegen-expr a si env)
  46   (emit "movq %rax, ~a(%rbp)" si)
  47   (codegen-expr b (- si wordsize) env)
  48   (emit "subq ~a(%rbp), %rax" si)
  49   (emit "not %rax")
  50   (emit "andq $1, %rax"))
  51
  52 ; 'write file handle addr-string num-bytes
  53
  54 (define (codegen-print x si env)
  55   (codegen-expr x si env) ; x should be a static-string, producing a label
  56
  57                       ; make a copy of string address since %rax and %rdi are clobbered
  58   (emit "mov %rax, %rbx")
  59
  60                       ; get the length of the null terminated string
  61   (emit "mov %rax, %rdi")
  62   (emit "xor %al, %al")   ; set %al to 0
  63   (emit "mov $-1, %rcx") ; max search length = max int = -1
  64   (emit "cld")           ; clear direction flag, search up in memory
  65   (emit "repne scasb")   ; scan string, %rcx = -strlen - 1 - 1
  66
  67   (emit "not %rcx")      ; -%rcx = strlen + 1
  68   (emit "dec %rcx")
  69
  70   (case target
  71     ('darwin
  72      (emit "movq %rbx, %rsi") ; string addr
  73      (emit "movq %rcx, %rdx") ; num bytes
  74      (emit "movq $1, %rdi")   ; file handle (stdout)
  75      (emit "movq $0x2000004, %rax")) ; syscall 4 (write)
  76     ('linux
  77      (emit "mov %rbx, %rsi")  ; string addr
  78      (emit "mov %rcx, %rdx")  ; num bytes
  79      (emit "mov $1, %rax")    ; file handle (stdout)
  80      (emit "mov $1, %rdi"))) ; syscall 1 (write)
  81   (emit "syscall"))
  82
  83 (define (range s n)
  84   (if (= 0 n) '()
  85       (append (range s (- n 1))
  86               (list (+ s (- n 1))))))
  87
  88 (define wordsize 8)
  89
  90 (define (codegen-let bindings body si env)
  91   (let* ((stack-offsets (map (lambda (x) (- si (* x wordsize)))
  92                              (range 0 (length bindings))))
  93          (inner-si (- si (* (length bindings) wordsize)))
  94          (names (map car bindings))
  95          (exprs (map cadr bindings))
  96
  97                                         ; recursive let bindings: build environment as we go
  98          (inner-env (fold-left
  99                      (lambda (env name expr offset)
 100                        (codegen-expr expr inner-si env)
 101                        (emit "movq %rax, ~a(%rbp)" offset)
 102                        (cons (cons name offset) env))
 103                      env names exprs stack-offsets)))
 104     (for-each (lambda (form)
 105                 (codegen-expr form inner-si inner-env))
 106               body)))
 107
 108 (define (codegen-var name si env)
 109   (when (not (assoc name env))
 110     (error #f (format "Variable ~a is not bound" name)))
 111   (let ((offset (cdr (assoc name env))))
 112     (emit "movq ~a(%rbp), %rax" offset)))
 113
 114 (define cur-lambda 0)
 115 (define (fresh-lambda)
 116   (set! cur-lambda (+ 1 cur-lambda))
 117   (format "_lambda~a" (- cur-lambda 1)))
 118
 119 ; a closure on the heap looks like:
 120 ; 0-x    x+0   x+4       x+12      x+20
 121 ; label #vars var1....  var2....  var3....
 122
 123 (define (codegen-closure label captured si env)
 124   (let* ((heap-offsets (range 4 (length captured))) ; 4, 12, 20, etc.
 125          (inner-si (- si (* (length captured) wordsize))))
 126     (emit "movl $~a, (heap_start)")
 127     (emit "add $4, (heap_start)")
 128     (for-each (lambda (var-name new-offset)
 129                 (emit "movq ~a(%rbp), ~a(heap_start)" ; todo: do we need to copy this?
 130                       (cdr (assoc var-name env))
 131                       new-offset)
 132                 (emit "add $8, (heap_start)")
 133               captured
 134               stack-offsets)
 135 )))
 136                                         ; for now we can only call closures
 137 (define (codegen-call closure args si env)
 138 ;  (codegen-expr closure si env)
 139   (when (not (eq? (ast-type closure) 'closure))
 140     (error #f (format "~a is not a closure" closure)))
 141   (let* ((captured (caddr closure))
 142          (label (cadr closure))
 143          (argument-start (length captured)))
 144
 145                                         ; first move the captured variables into param registers
 146     (for-each
 147      (lambda (e i)
 148        (emit "movq ~a(%rbp), ~a"
 149              (cdr (assoc e env)) ; offset of the var
 150              (param-register i)))
 151      captured (range 0 (length captured)))
 152
 153                                         ; then codegen the arguments and move them into the next param registers
 154     (for-each
 155      (lambda (e i)
 156        (begin
 157          (codegen-expr e si env)
 158                                         ; move result to correct param register
 159          (emit "movq %rax, ~a" (param-register i))))
 160      args (range argument-start (length args)))
 161
 162     (emit "addq $~a, %rsp" si) ; adjust the stack pointer to account all the stuff we put in the env
 163     (emit "callq ~a" label)
 164     (emit "subq $~a, %rsp" si)))
 165
 166 (define (codegen-lambda l)
 167   (let* ((label (car l))
 168          (args (cadr l))
 169          (captured (caddr l))
 170          (body (cadddr l))
 171                                         ; params = what actually gets passed
 172          (params (append captured args))
 173
 174          (param-registers (map param-register
 175                                (range 0 (length params))))
 176          (stack-offsets (map (lambda (i)
 177                                (* (- wordsize) i))
 178                              (range 1 (length params))))
 179
 180          (copy-insts (map (lambda (r o)
 181                             (format "movq ~a, ~a(%rbp)" r o))
 182                           param-registers stack-offsets))
 183
 184          (env (map cons params stack-offsets)))
 185     (emit "~a:" label)
 186     (display "## lambda body: ")
 187     (display body)
 188     (newline)
 189     (display "## environment: ")
 190     (display env)
 191     (newline)
 192
 193     (emit "push %rbp") ; preserve caller's base pointer
 194     (emit "movq %rsp, %rbp") ; set up our own base pointer
 195
 196     (for-each emit copy-insts)
 197     (codegen-expr body (* (- wordsize) (+ 1 (length params))) env)
 198
 199     (emit "pop %rbp") ; restore caller's base pointer
 200     (emit "ret")))
 201
 202 (define (codegen-string label)
 203   (case target
 204     ('darwin (emit "movq ~a@GOTPCREL(%rip), %rax" label))
 205     ('linux  (emit "lea $~a, %rax" label))))
 206
 207 (define cur-label 0)
 208 (define (fresh-label)
 209   (set! cur-label (+ 1 cur-label))
 210   (format "label~a" (- cur-label 1)))
 211
 212 (define (codegen-if cond then else si env)
 213   (codegen-expr cond si env)
 214   (emit "cmpq $0, %rax")
 215   (let ((exit-label (fresh-label))
 216         (else-label (fresh-label)))
 217     (emit "je ~a" else-label)
 218     (codegen-expr then si env)
 219     (emit "jmp ~a" exit-label)
 220     (emit "~a:" else-label)
 221     (codegen-expr else si env)
 222     (emit "~a:" exit-label)))
 223
 224 (define (codegen-expr e si env)
 225   (case (ast-type e)
 226     ('builtin e)
 227     ('closure (codegen-closure (cadr e) (caddr e) si env))
 228     ('app
 229      (let ((callee (codegen-expr (car e) si env)))
 230        (case callee
 231          ('+ (codegen-add (cdr e) si env))
 232          ('- (codegen-sub (cadr e) (caddr e) si env))
 233          ('* (codegen-mul (cadr e) (caddr e) si env))
 234          ('! (codegen-not (cadr e) si env))
 235          ('= (codegen-eq  (cadr e) (caddr e) si env))
 236          ('bool->int (codegen-expr (cadr e) si env))
 237          ('print (codegen-print (cadr e) si env))
 238          (else (codegen-call callee (cdr e) si env)))))
 239
 240     ('let (codegen-let (let-bindings e)
 241                        (let-body e)
 242                        si
 243                        env))
 244
 245     ('var (codegen-var e si env))
 246
 247     ('if (codegen-if (cadr e) (caddr e) (cadddr e) si env))
 248
 249     ('bool-literal (emit "movq $~a, %rax" (if e 1 0)))
 250     ('int-literal (emit "movq $~a, %rax" e))
 251
 252     ('static-string (codegen-string (cadr e)))
 253
 254     (else (error #f "don't know how to codegen this"))))
 255
 256
 257 (define (fold-map f x) (fold-left append '() (map f x)))
 258
 259 (define (free-vars prog)
 260   (define bound '())
 261   (define (collect e)
 262     (case (ast-type e)
 263       ('builtin '()) ; do nothing
 264       ('var (if (memq e bound) '() (list e)))
 265       ('lambda
 266           (set! bound (append (lambda-args e) bound))
 267         (collect (lambda-body e)))
 268
 269       ('app (fold-map collect e))
 270       ('let
 271           (let ((bind-fvs (fold-map (lambda (a)
 272                                       ((set! bound (cons (car a) bound))
 273                                        (collect (cdr a))))
 274                                     (let-bindings cadr)))
 275                 (body-fvs (fold-map collect (let-body e))))
 276             (append bind-fvs body-fvs)))
 277       (else '())))
 278   (collect prog))
 279
 280                                         ; ((lambda (x) (+ x 1)) 42) => {lambda0: (x) (+ x 1)}, (@lambda0 42)
 281 (define (extract-lambdas program)
 282   (define lambdas '())
 283   (define (add-lambda e)
 284     (let* ((label (fresh-lambda))
 285            (args (lambda-args e))
 286            (captured (free-vars e))
 287            (body (extract (lambda-body e)))
 288            (new-lambda (list label args captured body)))
 289       (set! lambdas (cons new-lambda lambdas))
 290       `(closure ,label ,captured))) ; todo: should we string->symbol?
 291   (define (extract e)
 292     (case (ast-type e)
 293       ('lambda (add-lambda e))
 294       ('let `(let ,(map extract (let-bindings e))
 295                ,@(map extract (let-body e))))
 296       ('app (append (list (extract (car e)))
 297                     (map extract (cdr e))))
 298       (else (ast-traverse extract e))))
 299   (let ((transformed (extract program)))
 300     (cons lambdas transformed)))
 301
 302 (define (extract-strings program)
 303   (let ((cur-string 0)
 304         (strings '())) ; assoc list of labels -> string
 305     (define (fresh-string)
 306       (set! cur-string (+ cur-string 1))
 307       (format "string~a" (- cur-string 1)))
 308     (define (extract e)
 309       (case (ast-type e)
 310         ('string-literal
 311          (let ((label (fresh-string)))
 312            (set! strings (cons (cons label e) strings))
 313            `(static-string ,label)))
 314         (else (ast-traverse extract e))))
 315     (let ((transformed (extract program)))
 316       (cons strings transformed))))
 317
 318 (define (emit-string-data s)
 319   (emit "~a:" (car s))
 320   (emit "\t.string \"~a\"" (cdr s)))
 321
 322 ;; (define (amd64-abi f)
 323 ;;                                      ; preserve registers
 324 ;;   (emit "push %rbp")
 325 ;;   ;; (emit "push %rbx")
 326 ;;   ;; (for-each (lambda (i)
 327 ;;   ;;               (emit (string-append
 328 ;;   ;;                      "push %r"
 329 ;;   ;;                      (number->string i))))
 330 ;;   ;;             '(12 13 14 15))
 331
 332 ;;   (emit "movq %rsp, %rbp")              ; set up the base pointer
 333
 334 ;;   (f) ; call stuff
 335 ;;                                      ; restore preserved registers
 336 ;;   ;; (for-each (lambda (i)
 337 ;;   ;;               (emit (string-append
 338 ;;   ;;                      "pop %r"
 339 ;;   ;;                      (number->string i))))
 340 ;;   ;;             '(15 14 13 12))
 341 ;;   ;; (emit "pop %rbx")
 342 ;;   (emit "pop %rbp")
 343 ;;   (emit "ret"))
 344
 345                                         ; 24(%rbp) mem arg 1
 346                                         ; 16(%rbp) mem arg 0          prev frame
 347                                         ; -----------------------
 348                                         ;  8(%rbp) return address     cur frame
 349                                         ;  0(%rbp) prev %rbp
 350                                         ; -8(%rbp) do what you want
 351                                         ;  ...     do what you want
 352                                         ;  0(%rsp) do what you want
 353
 354 (define (param-register n)
 355   (case n
 356     (0 "%rdi")
 357     (1 "%rsi")
 358     (2 "%rdx")
 359     (3 "%rcx")
 360     (4 "%r8")
 361     (5 "%r9")
 362     (else (error #f "need to test out the below"))
 363     (else (format "~a(%rsp)" (- n 6)))))
 364
 365 (define (codegen program)
 366   (let* ((extract-res-0 (extract-strings program))
 367          (strings (car extract-res-0))
 368          (extract-res-1 (extract-lambdas (cdr extract-res-0)))
 369          (lambdas (car extract-res-1))
 370          (xform-prog (cdr extract-res-1)))
 371
 372     (emit "\t.global _start")
 373     (emit "\t.text")
 374                                         ;    (emit ".p2align 4,,15") is this needed?
 375
 376     (for-each codegen-lambda lambdas)
 377
 378     (emit "_start:")
 379
 380     ; allocate some heap memory
 381     (emit "mov $9, %rax") ; mmap
 382     (emit "xor %rdi, %rdi")  ; addr = null
 383     (emit "movq $1024, %rsi")   ; length = 1kb
 384     (emit "movq $0x3, %rdx") ; prot = read | write = 0x2 | 0x1
 385     (emit "movq $0x22, %r10") ; flags = anonymous | private = 0x20 | 0x02
 386     (emit "movq $-1, %r8") ; fd = -1
 387     (emit "xor %r9, %r9") ; offset = 0
 388     (emit "syscall")
 389
 390     ; %rax now contains pointer to the start of the heap
 391     ; keep track of it
 392     (emit "movq %rax, (heap_start)")
 393
 394     (emit "movq %rsp, %rbp")            ; set up the base pointer
 395     (codegen-expr xform-prog 0 '())
 396
 397                                         ; exit syscall
 398     (emit "mov %rax, %rdi")
 399     (case target
 400       ('darwin (emit "movq $0x2000001, %rax"))
 401       ('linux (emit "mov $60, %rax")))
 402     (emit "syscall")
 403
 404     (emit ".data")
 405
 406     (emit "heap_start:")
 407     (emit "\t.quad 0")
 408
 409     (for-each emit-string-data strings)))
 410
 411 (define (compile-to-binary program output t)
 412   (set! target t)
 413   (when (not (eq? (typecheck program) 'int)) (error #f "not an int"))
 414   (let ([tmp-path "/tmp/a.s"])
 415     (when (file-exists? tmp-path) (delete-file tmp-path))
 416     (with-output-to-file tmp-path
 417       (lambda () (codegen program)))
 418
 419     (case target
 420       ('darwin
 421        (system "as /tmp/a.s -o /tmp/a.o")
 422        (system (format "ld /tmp/a.o -e _start -macosx_version_min 10.14 -static -o ~a" output)))
 423       ('linux
 424        (system "as /tmp/a.s -o /tmp/a.o")
 425        (system (format "ld /tmp/a.o -o ~a" output))))))
 426
 427 ; NOTES
 428 ; syscalls in linux use the following arguments for syscall instruction:
 429 ; %rax = syscall #
 430 ; %rdi = 1st arg
 431 ; %rsi = 2nd arg
 432 ; %rdx = 3rd arg
 433 ; %r10 = 4th arg
 434 ; %r8  = 5th arg
 435 ; %r9  = 6th arg