codegen.scm

   1 (load "typecheck.scm")
   2 (load "ast.scm")
   3 (load "platform.scm")
   4 (load "stdlib.scm")
   5
   6 (define target host-os)
   7
   8 (define (emit . s)
   9   (begin
  10     (apply printf s)
  11     (display "\n")))
  12
  13 (define wordsize 8)
  14
  15 (define (stack-type? dls type)
  16   (if (adt? dls type)
  17       (> (type-size dls type) wordsize)
  18       #f))
  19
  20 (define (adt? data-layouts type) (assoc type data-layouts))
  21
  22 (define (type-size data-layouts type)
  23
  24   (define (adt-size adt)
  25     (let ([sizes
  26            (map (lambda (sum)
  27                   (fold-left (lambda (acc x) (+ acc (type-size data-layouts x)))
  28                              wordsize ; one word needed to store tag
  29                              (cdr sum)))
  30                 (cdr adt))])
  31       (apply max sizes)))
  32
  33   (case type
  34     ['Int wordsize]
  35     [else
  36      (let ([adt (assoc type data-layouts)])
  37        (if adt
  38            (adt-size adt)
  39            (error #f "unknown size" type)))]))
  40
  41 (define (singletons dls)
  42   (flat-map
  43    (lambda (sums)
  44      (fold-left append '()
  45                 (filter (lambda (x) (= 1 (length x))) sums)))
  46    (map cdr dls)))
  47
  48 (define (singleton? dls x)
  49   (memv x (singletons dls)))
  50
  51                                         ; returns the size of an expression's result in bytes
  52 (define (expr-size dls e)
  53   (if (eqv? (ast-type e) 'stack)
  54       (type-size dls (cadr e))
  55       wordsize))
  56
  57 (define (on-stack? expr)
  58   (case (ast-type expr)
  59     ['stack (cadr expr)]
  60     [else #f]))
  61
  62                                         ; does a movsq for something on the stack
  63                                         ; src points to the start stack index, but not the top of that index
  64                                         ; likewise for dst
  65                                         ; | ...  |
  66                                         ; +------+ <-- to here
  67                                         ; | tag0 |
  68                                         ; +------+ <-- src (size = 16)
  69                                         ; |  42  |
  70                                         ; +------+ <-- start copying from here...
  71 (define (emit-stack-copy src dst size)
  72   (let ([size-to-copy (- size wordsize)])
  73     (emit "leaq ~a(%rbp), %rsi" (- src size-to-copy))
  74     (emit "leaq ~a(%rbp), %rdi" (- dst size-to-copy))
  75     (emit "movq $~a, %rcx" (/ size wordsize))
  76     (emit "rep movsq")))
  77
  78
  79                                         ; an environment consists of adt layouts in scope,
  80                                         ; and any bound variables.
  81                                         ; bound variables are an assoc list with their stack offset
  82 (define make-env list)
  83 (define env-data-layouts car)
  84 (define env-bindings cadr)
  85 (define (env-append-bindings env bindings)
  86   (make-env (env-data-layouts env)
  87             (append bindings (env-bindings env))))
  88
  89 (define (codegen-add xs si env)
  90   (define (go ys)
  91     (if (null? ys)
  92         (emit "movq ~a(%rbp), %rax" si)
  93         (begin
  94           (let ((y (car ys)))
  95             (if (integer? y)
  96                 (emit "addq $~a, ~a(%rbp)" y si)
  97                 (begin
  98                   (codegen-expr y (- si wordsize) env)
  99                   (emit "addq %rax, ~a(%rbp)" si))))
 100           (go (cdr ys)))))
 101   (begin
 102                                         ; use si(%rbp) as the accumulator
 103     (emit "movq $0, ~a(%rbp)" si)
 104     (go xs)))
 105
 106 (define (codegen-binop opcode)
 107   (lambda (a b si env)
 108     (codegen-expr b si env)
 109     (emit "movq %rax, ~a(%rbp)" si)
 110     (codegen-expr a (- si wordsize) env)
 111     (emit "~a ~a(%rbp), %rax" opcode si)))
 112
 113 (define codegen-sub (codegen-binop "sub"))
 114
 115 (define codegen-mul (codegen-binop "imul"))
 116
 117 (define (codegen-not x si env)
 118   (codegen-expr x si env)
 119   (emit "notq %rax")
 120   (emit "andq $1, %rax"))
 121
 122 (define (codegen-eq a b si env)
 123   (codegen-expr a si env)
 124   (emit "movq %rax, ~a(%rbp)" si)
 125   (codegen-expr b (- si wordsize) env)
 126   (emit "## ~a = ~b" a b)
 127   (emit "cmpq ~a(%rbp), %rax" si)
 128   (emit "sete %al"))
 129
 130                                         ; 'write file handle addr-string num-bytes
 131
 132 (define (codegen-print x si env)
 133   (codegen-expr x si env) ; x should be a static-string, producing a label
 134
 135                                         ; make a copy of string address since %rax and %rdi are clobbered
 136   (emit "mov %rax, %rbx")
 137
 138                                         ; get the length of the null terminated string
 139   (emit "mov %rax, %rdi")
 140   (emit "xor %al, %al")   ; set %al to 0
 141   (emit "mov $-1, %rcx") ; max search length = max int = -1
 142   (emit "cld")           ; clear direction flag, search up in memory
 143   (emit "repne scasb")   ; scan string, %rcx = -strlen - 1 - 1
 144
 145   (emit "not %rcx")      ; -%rcx = strlen + 1
 146   (emit "dec %rcx")
 147
 148   (emit "movq %rbx, %rsi") ; string addr
 149   (emit "movq %rcx, %rdx") ; num bytes
 150   (emit "movq $1, %rdi")   ; file handle (stdout)
 151   (case target
 152     ('darwin (emit "mov $0x2000004, %rax")) ; syscall 4 (write)
 153     ('linux  (emit "mov $1, %rax"))) ; syscall 1 (write)
 154   (emit "syscall"))
 155
 156 (define (codegen-let bindings body si env)
 157
 158                                         ; is this a closure that captures itself?
 159                                         ; e.g. (let ([x 3] [f (closure lambda0 (f x))]) (f))
 160   (define (self-captive-closure? name expr)
 161     (and (eqv? (ast-type expr) 'closure)
 162          (memv name (caddr expr))))
 163
 164   ;; (define (emit-scc scc env)
 165   ;;   ; acc is a pair of the env and list of touchups
 166   ;;   (define (emit-binding acc binding)
 167   ;;     (let ([binding-name (car binding)]
 168   ;;        [binding-body (cadr binding)]
 169
 170   ;;        [other-bindings (filter
 171   ;;                         (lambda (x) (not (eqv? binding-name x)))
 172   ;;                         scc)]
 173   ;;        [mutually-recursives
 174   ;;         (filter
 175   ;;          (lambda (other-binding)
 176   ;;            (memv other-binding (references binding-body)))
 177   ;;          other-bindings)]
 178
 179   ;;        [new-touchups (append touchups (cdr acc))])
 180
 181   ;;                                    ; TODO: assert that the only mutually recursives are closures
 182   ;;    (for-each
 183   ;;     (lambda (binding)
 184   ;;       (when (not (eqv? (ast-type (cadr binding))
 185
 186   ;;    (emit "asdf")
 187   ;;    (cons new-env new-touchups)
 188   ;;    ))
 189
 190   ;;   (fold-left emit-binding (cons env '()) scc))))
 191                                         ; assoc map of binding name to size
 192
 193
 194   (define dls (env-data-layouts env))
 195
 196   (define stack-sizes
 197     (map (lambda (binding) (cons (car binding) (expr-size dls (cadr binding))))
 198          bindings))
 199
 200                                         ; assoc map of binding name to offset
 201   (define stack-offsets
 202                                         ; 2  4  2  8  6
 203     (let* ([totals                      ; 2  6  8  16 22
 204             (reverse (fold-left (lambda (acc x)
 205                                   (if (null? acc)
 206                                       (list x)
 207                                       (cons (+ x (car acc)) acc)))
 208                                 '()
 209                                 (map cdr stack-sizes)))]
 210                                         ; 0  2  6  8  16
 211            [relative-offsets (map - totals (map cdr stack-sizes))]
 212            [absolute-offsets (map (lambda (x) (- si x)) relative-offsets)])
 213       (map cons (map car stack-sizes) absolute-offsets)))
 214
 215   (let* (
 216                                         ; the stack index used when codegening binding body and main body
 217                                         ; -> stack ->
 218                                         ; [stack-offsets | inner-si]
 219          [inner-si (- si (fold-left + 0 (map cdr stack-sizes)))]
 220
 221          [get-offset (lambda (n) (cdr (assoc n stack-offsets)))]
 222
 223          [inner-env
 224           (fold-left
 225            (lambda (env comps)
 226              (let* ([scc-binding-offsets
 227                      (fold-left
 228                       (lambda (acc name)
 229                         (cons (cons name (get-offset name))
 230                               acc))
 231                       (env-bindings env)
 232                       comps)]
 233                     [scc-env (make-env (env-data-layouts env) scc-binding-offsets)])
 234                (for-each
 235                 (lambda (name)
 236                   (let* ([expr (cadr (assoc name bindings))]
 237                          [size (expr-size dls expr)])
 238                     (emit "## generating ~a with scc-env ~a" name scc-env)
 239                     (if (self-captive-closure? name expr)
 240                                         ; if self-captive, insert a flag into the environment to let
 241                                         ; codegen-closure realise this!
 242                         (codegen-expr expr
 243                                       inner-si
 244                                       (make-env
 245                                        (env-data-layouts scc-env)
 246                                        (cons (cons name 'self-captive)
 247                                              (env-bindings scc-env))))
 248                         (codegen-expr expr inner-si scc-env))
 249
 250                     (if (on-stack? expr)
 251                                                   ; copy over whatevers on the stack
 252                         (emit-stack-copy inner-si (get-offset name) size)
 253                         (emit "movq %rax, ~a(%rbp)" (get-offset name)))))
 254                 comps)
 255                scc-env))
 256            env
 257            (reverse (sccs (graph bindings))))])
 258
 259     (for-each (lambda (form)
 260                 (codegen-expr form inner-si inner-env))
 261               body)))
 262
 263 (define (codegen-var e si env)
 264   (let* ([stack-type (on-stack? e)]
 265          [name (if stack-type (caddr e) e)]
 266
 267          [dls (env-data-layouts env)]
 268
 269
 270          [stack-offset (assoc name (env-bindings env))])
 271
 272     (when (and (not stack-offset) (not singleton?))
 273       (error #f (format "Variable ~a is not bound" name)))
 274
 275     (cond
 276      [(singleton? dls name)
 277                                         ; singletons don't need to be in the environment
 278                                         ; just store the tag
 279       (let ([tag (data-sum-tag (env-data-layouts env) name)])
 280         (if (on-stack? e)
 281             (emit "movq $~a, ~a(%rbp)" tag si)
 282             (emit "movq $~a, %rax" tag)))]
 283      [(on-stack? e) (emit-stack-copy (cdr stack-offset) si (type-size dls stack-type))]
 284      [else (emit "movq ~a(%rbp), %rax" (cdr stack-offset))])))
 285
 286 (define cur-lambda 0)
 287 (define (fresh-lambda)
 288   (set! cur-lambda (+ 1 cur-lambda))
 289   (format "_lambda~a" (- cur-lambda 1)))
 290
 291                                         ; a closure on the heap looks like:
 292                                         ; 0    8         16        24
 293                                         ; addr var1....  var2....  var3....
 294
 295 (define (codegen-closure label captured si env)
 296   (let* ((heap-offsets (map (lambda (i) (+ 8 (* 8 i)))
 297                             (range 0 (length captured))))) ; 4, 12, 20, etc.
 298
 299     (emit "## creating closure")
 300
 301     (emit "movq heap_start@GOTPCREL(%rip), %rbx")
 302
 303     (emit "movq (%rbx), %rax")          ; %rax = heap addr of closure
 304
 305
 306                                         ; point heap_start to next space
 307     (emit "addq $~a, (%rbx)" (+ 8 (* 8 (length captured))))
 308
 309     (emit "## storing address to lambda")
 310                                         ; store the address to the lambda code
 311     (emit "movq ~a@GOTPCREL(%rip), %rbx" label)
 312     (emit "movq %rbx, 0(%rax)")
 313
 314     (emit "## storing captives")
 315                                         ; store the captured vars
 316     (for-each
 317      (lambda (var-name heap-offset)
 318        (let ([stack-offset (cdr (assoc var-name (env-bindings env)))])
 319          (emit "### captive ~a" var-name)
 320          (if (eqv? stack-offset 'self-captive)
 321                                         ; captive refers to this closure:
 322                                         ; move heap addr of this closure to stack!
 323              (emit "movq %rax, ~a(%rax)" heap-offset)
 324              (begin
 325                (emit "movq ~a(%rbp), %rbx" stack-offset)
 326                (emit "movq %rbx, ~a(%rax)" heap-offset)))))
 327      captured
 328      heap-offsets)))
 329
 330                                         ; for now we can only call closures
 331 (define (codegen-call f args si env)
 332   (codegen-expr f si env)
 333
 334   (emit "## starting call")
 335
 336   (emit "movq %rax, ~a(%rbp)" si) ; store address of closure first on stack
 337
 338                                         ; codegen the arguments, store them intermediately
 339   (for-each
 340    (lambda (e i)
 341      (begin
 342        (emit "## arg no. ~a" (- i 1))
 343        (codegen-expr e (- si (* wordsize i)) env)
 344                                         ; store intermediate result on stack
 345        (emit "movq %rax, ~a(%rbp)" (- si (* wordsize i)))))
 346
 347    args (range 1 (length args)))
 348
 349                                         ; now that we have everything we need on the stack,
 350                                         ; move them into the param registers
 351
 352   (emit "## moving args into place")
 353   (for-each
 354    (lambda (i) (emit "movq ~a(%rbp), ~a"
 355                      (- si (* wordsize i))
 356                      (param-register i)))
 357    (range 1 (length args)))
 358
 359                                         ; todo: can this be made more efficient
 360   (emit "movq ~a(%rbp), %rax" si)       ; load back pointer to closure
 361
 362   (emit "## moving captives into place")
 363
 364                                         ; move captives into first argument
 365   (emit "movq %rax, %rbx")
 366   (emit "addq $8, %rbx")
 367   (emit "movq %rbx, ~a" (param-register 0))
 368
 369   (emit "## performing call")
 370
 371   (emit "addq $~a, %rsp" si) ; adjust the stack pointer to account all the stuff we put in the env
 372   (emit "callq *(%rax)")                ; call closure function
 373   (emit "subq $~a, %rsp" si))
 374
 375                                         ; LAMBDAS:
 376                                         ; 1st param: pointer to captured args
 377                                         ; 2nd param: 1st arg
 378                                         ; 3rd param: 2nd arg, etc.
 379
 380 (define (codegen-lambda l)
 381   (let* ((label (car l))
 382          (stuff (cdr l))
 383          (dls (car stuff))
 384          (captives (cadr stuff))
 385          (args (caddr stuff))
 386          (body (cadddr stuff))
 387                                         ; params = what actually gets passed
 388          (params (append captives args))
 389
 390          (stack-offsets (map (lambda (i)
 391                                (* (- wordsize) (+ 1 i)))
 392                              (range 0 (length params))))
 393
 394          [bindings (map cons params stack-offsets)]
 395          [env (make-env dls bindings)])
 396     (emit "~a:" label)
 397
 398     (display "## lambda captives: ")
 399     (display captives)
 400     (newline)
 401     (display "## lambda args: ")
 402     (display args)
 403     (newline)
 404     (display "## lambda body: ")
 405     (display body)
 406     (newline)
 407
 408     (emit "push %rbp") ; preserve caller's base pointer
 409
 410     (emit "movq %rsp, %rbp") ; set up our own base pointer
 411
 412                                         ; load the captured vars onto the stack
 413     (for-each
 414      (lambda (i)
 415        (begin
 416          (emit "# loading captive ~a" (list-ref captives i))
 417          (emit "movq ~a(~a), %rbx" (* wordsize i) (param-register 0))
 418          (emit "movq %rbx, ~a(%rbp)" (* (- wordsize) (+ 1 i)))))
 419      (range 0 (length captives)))
 420
 421                                         ; load the args onto the stack
 422     (for-each
 423      (lambda (i)
 424        (begin
 425          (emit "movq ~a, %rbx" (param-register (+ 1 i)))
 426          (emit "movq %rbx, ~a(%rbp)"
 427                (* (- wordsize)
 428                   (+ 1 (length captives) i)))))
 429      (range 0 (length args)))
 430
 431     (codegen-expr body (* (- wordsize) (+ 1 (length params))) env)
 432
 433     (emit "pop %rbp") ; restore caller's base pointer
 434     (emit "ret")))
 435
 436 (define cur-label 0)
 437 (define (fresh-label)
 438   (set! cur-label (+ 1 cur-label))
 439   (format "label~a" (- cur-label 1)))
 440
 441 (define (codegen-if cond then else si env)
 442   (codegen-expr cond si env)
 443   (emit "cmpq $0, %rax")
 444   (let ((exit-label (fresh-label))
 445         (else-label (fresh-label)))
 446     (emit "je ~a" else-label)
 447     (codegen-expr then si env)
 448     (emit "jmp ~a" exit-label)
 449     (emit "~a:" else-label)
 450     (codegen-expr else si env)
 451     (emit "~a:" exit-label)))
 452
 453 (define (codegen-case switch cases si env)
 454   (define dls (env-data-layouts env))
 455   (define exit-label (fresh-label))
 456
 457
 458                                         ; checks if equal and returns assoc list of bindings
 459   (define (check-equal jne-label type inner-offset x)
 460
 461                                         ; TODO: tidy this up! comparibles and binds could be merged
 462                                         ; (foo a 2 (bar x)) -> ((2 Int 1) ((bar x) A 2))
 463                                         ; sum: foo
 464     (define (comparibles sum)
 465       (let ([product-types (cdr (assoc sum (cdr (assoc type dls))))])
 466         (if (null? product-types)
 467             '()
 468             (filter (lambda (x) (not (eqv? 'var (ast-type (car x)))))
 469                     (map (lambda (x t i) (list x t i))
 470                          (cdr x)
 471                          product-types
 472                          (range 0 (length product-types)))))))
 473
 474     (define (binds sum)
 475       (let ([product-types (cdr (assoc sum (cdr (assoc type dls))))])
 476         (if (null? product-types)
 477             '()
 478             (filter (lambda (x) (eqv? 'var (ast-type (car x))))
 479                     (map (lambda (x i)
 480                            (cons x
 481                                  (- inner-offset
 482                                     (data-product-offset dls type sum i))))
 483                          (cdr x)
 484                          (range 0 (length (cdr x))))))))
 485
 486
 487     (if (adt? dls type)
 488         (let* ([sum (if (list? x) (car x) x)] ; can sometimes be a singleton
 489                [tag (data-sum-tag dls sum)])
 490                                         ; the tag is at the top (beginning) of the adt on the stack
 491           (emit "cmpq $~a, ~a(%rbp)" tag inner-offset)
 492           (emit "jne ~a" jne-label)
 493
 494           (append (binds sum)
 495                   (flat-map
 496                    (lambda (cmp) ; cmp = (x type index)
 497                      (check-equal jne-label
 498                                   (cadr cmp)
 499                                   (- inner-offset (data-product-offset dls type sum (caddr cmp)))
 500                                   (car cmp)))
 501                    (comparibles sum))))
 502         (if (eqv? 'var (ast-type x))
 503             (list (cons x inner-offset))
 504             (begin
 505               (emit "cmpq $~a, ~a(%rbp)" x inner-offset)
 506               (emit "jne ~a" jne-label)
 507               '() ))))
 508
 509   (define (codegen-adt-match type case)
 510     (let* ([match (car case)]
 511            [expr (cadr case)]
 512            [next-section-label (fresh-label)]
 513            [inner-si (- si (type-size dls type))]
 514            [new-env (env-append-bindings env
 515                      (check-equal next-section-label type si match))])
 516
 517
 518       (codegen-expr expr inner-si new-env)
 519       (emit "jmp ~a" exit-label)
 520
 521       (emit "~a:" next-section-label)))
 522
 523   (define (codegen-literal-match case)
 524     (let* ([next-section-label (fresh-label)]
 525            [match (car case)]
 526            [val (if (singleton? dls match)
 527                     (data-sum-tag dls match)
 528                     match)])
 529       (emit "cmpq $~a, %rax" val)
 530       (emit "jne ~a" next-section-label)
 531       (codegen-expr (cadr case) si env)
 532       (emit "jmp ~a" exit-label)
 533       (emit "~a:" next-section-label)))
 534
 535                                         ; generate the switch
 536                                         ; (and store it on the stack if not a stack value)
 537   (codegen-expr switch si env)
 538
 539   (if (on-stack? switch)
 540                                         ; adt pattern match
 541       (for-each (lambda (x) (codegen-adt-match (cadr switch) x)) cases)
 542       (for-each codegen-literal-match cases))
 543   (emit "~a:" exit-label))
 544
 545
 546 (define (data-tor env e)
 547   (if (not (list? e)) #f
 548       (assoc (car e) (flat-map data-tors (env-data-layouts env)))))
 549
 550                                         ; returns the internal offset in bytes of a product within an ADT
 551                                         ; given the constructor layout
 552                                         ; constructor-layout: (foo (Int Bool))
 553 (define (data-product-offset data-layouts type sum index)
 554   (let* ([products (cdr (assoc sum (cdr (assoc type data-layouts))))]
 555          [to-traverse (list-head products index)])
 556     (fold-left
 557      (lambda (acc t) (+ acc (type-size data-layouts t)))
 558      wordsize ; skip the tag in the first word
 559      to-traverse)))
 560
 561 (define (data-sum-tag data-layouts sum)
 562
 563   (define (go acc sums)
 564     (when (null? sums) (error #f "data-sum-tag no sum for type" sum type))
 565     (if (eqv? sum (car sums))
 566         acc
 567         (go (+ 1 acc) (cdr sums))))
 568   (let* ([all-sum-names (flat-map (lambda (x) (map (lambda (y) (cons (car y) (car x))) (cdr x))) data-layouts)]
 569          [type (cdr (assoc sum all-sum-names))]
 570          [type-sums (cdr (assoc type data-layouts))])
 571     (go 0 (map car type-sums))))
 572
 573 (define (codegen-data-tor e si env)
 574
 575   (define dls (env-data-layouts env))
 576
 577   (define (codegen-destructor tor)
 578     (let* ([res (codegen-expr (cadr e) si env)]
 579            [info (cadr tor)]
 580            [type (car info)]
 581            [sum (cadr info)]
 582            [index (caddr info)]
 583            [product-type (cadddr info)]
 584            [product-type-size (type-size dls product-type)]
 585
 586            [safe-space-offset (- si (type-size dls type))]
 587
 588            [inner-offset (- si (data-product-offset dls type sum index))])
 589
 590       (when (not (on-stack? (cadr e)))
 591         (error #f "trying to destruct something that isn't a stack expression"))
 592       (emit "# deconstructing")
 593
 594       (if (stack-type? (env-data-layouts env) product-type)
 595                                         ; if copying from the stack, need to first copy
 596                                         ; to a safe space above to avoid overwriting
 597                                         ; the original result on the stack
 598                                         ; this is bad. please remove this in the rewrite.
 599           (begin
 600             (emit-stack-copy inner-offset safe-space-offset product-type-size)
 601             (emit-stack-copy safe-space-offset si product-type-size))
 602           (emit "movq ~a(%rbp), %rax" inner-offset))))
 603
 604   (define (codegen-constructor tor)
 605     (let* ([info (cadr tor)]
 606            [type (car info)]
 607            [sum (cadr info)]
 608            [constructor (car e)]
 609
 610            [args (cdr e)]
 611
 612            [tag (data-sum-tag (env-data-layouts env)
 613                               sum)]
 614
 615            [inner-si (- si (type-size dls type))]
 616
 617            [product-types (cdr (assoc sum (cdr (assoc type dls))))]
 618
 619            [insert-product
 620             (lambda (expr i product-type)
 621               (let ([dest-offset
 622                      (- si (data-product-offset dls type sum i))]
 623                     [product-size (type-size dls product-type)])
 624                 (codegen-expr expr inner-si env)
 625                 (if (on-stack? expr)
 626                     (emit-stack-copy inner-si dest-offset product-size)
 627                     (emit "movq %rax, ~a(%rbp)" dest-offset))))])
 628
 629                                         ; emit the tag
 630       (emit "movq $~a, ~a(%rbp)" tag si)
 631                                         ; generate products
 632       (for-each insert-product args (range 0 (length args)) product-types)))
 633
 634   (let* ([tor (data-tor env e)]
 635          [constructor (eqv? 'constructor (caddr (cadr tor)))])
 636     (if constructor
 637         (codegen-constructor tor)
 638         (codegen-destructor tor))))
 639
 640 (define (codegen-expr e si env)
 641   (emit "# ~a" e)
 642   (case (ast-type e)
 643     ('closure (codegen-closure (cadr e) (caddr e) si env))
 644     ('app
 645      (case (car e)
 646        ('+ (codegen-add (cdr e) si env))
 647        ('- (codegen-sub (cadr e) (caddr e) si env))
 648        ('* (codegen-mul (cadr e) (caddr e) si env))
 649        ('! (codegen-not (cadr e) si env))
 650        ('= (codegen-eq  (cadr e) (caddr e) si env))
 651        ('bool->int (codegen-expr (cadr e) si env))
 652        ('print (codegen-print (cadr e) si env))
 653        (else
 654         (if (data-tor env e)
 655             (codegen-data-tor e si env)
 656             (codegen-call (car e) (cdr e) si env)))))
 657
 658                                         ; this is a builtin being passed around as a variable
 659                                         ; this should have been converted to a closure!
 660     ('builtin (error #f "passing about a builtin!" e))
 661
 662     ('let (codegen-let (let-bindings e)
 663                        (let-body e)
 664                        si
 665                        env))
 666
 667     ('var (codegen-var e si env))
 668
 669     ('if (codegen-if (cadr e) (caddr e) (cadddr e) si env))
 670     ('case (codegen-case (case-switch e) (case-cases e) si env))
 671
 672     ('bool-literal (emit "movq $~a, %rax" (if e 1 0)))
 673     ('int-literal (emit "movq $~a, %rax" e))
 674
 675     ('static-string (emit "movq ~a@GOTPCREL(%rip), %rax"
 676                           (cadr e)))
 677
 678     ('stack (case (ast-type (caddr e))
 679               ['var (codegen-var e si env)]
 680               [else (codegen-expr (caddr e) si env)]))
 681
 682     (else (error #f "don't know how to codegen this")))
 683   (emit "# done ~a" e))
 684
 685                                         ; takes in a expr annotated with types and returns a type-less AST
 686                                         ; with stack values wrapped
 687 (define (annotate-stack-values data-layouts ann-e)
 688   (define (strip e)
 689     (ast-traverse strip (ann-expr e)))
 690   (let* ([e (ann-expr ann-e)]
 691          [type (ann-type ann-e)])
 692     (if (stack-type? data-layouts type)
 693         `(stack ,type
 694                 ,(ast-traverse (lambda (x) (annotate-stack-values data-layouts x)) e))
 695         (ast-traverse (lambda (x)
 696                         (annotate-stack-values data-layouts x))
 697                       e))))
 698
 699 (define (free-vars dls prog)
 700   (define bound (singletons dls))
 701   (define (collect e)
 702     (case (ast-type e)
 703       ('builtin '()) ; do nothing
 704       ('var (if (memv e bound) '() (list e)))
 705       ('lambda
 706           (begin
 707             (set! bound (append (lambda-args e) bound))
 708             (collect (lambda-body e))))
 709
 710       ('app (flat-map collect e))
 711       ('if (flat-map collect (cdr e)))
 712       ('let
 713           (let ([bind-fvs (flat-map (lambda (a)
 714                                       (begin
 715                                         (set! bound (cons (car a) bound))
 716                                         (collect (cdr a))))
 717                                     (let-bindings e))])
 718             (append bind-fvs (flat-map collect (let-body e)))))
 719       (else '())))
 720   (collect prog))
 721
 722                                         ; ((lambda (x) (+ x y)) 42) => ((closure lambda1 (y)) 42)
 723                                         ;                              [(lambda1 . ((y), (x), (+ x y))]
 724                                         ; for builtins, this generates a closure if it is used
 725                                         ; outside of an immediate app
 726                                         ; but only one closure for each builtin
 727
 728 (define (extract-lambdas dls program)
 729   (define lambdas '())
 730   (define (add-lambda e)
 731     (let* ((label (fresh-lambda))
 732            (args (lambda-args e))
 733            (captured (free-vars dls e))
 734            (body (extract (lambda-body e)))
 735            (new-lambda (cons label (list dls captured args body))))
 736       (set! lambdas (cons new-lambda lambdas))
 737       `(closure ,label ,captured))) ; todo: should we string->symbol?
 738
 739   (define (find-builtin-lambda e)
 740     (let [(l (assq (builtin-name e) lambdas))]
 741       (if l `(closure ,(car l) ,(caadr l)) #f)))
 742
 743   (define (builtin-name e)
 744     (case e
 745       ('+ "_add")
 746       ('- "_sub")
 747       ('* "_mul")
 748       ('! "_not")
 749       ('= "_eq")
 750       ('bool->int "_bool2int")
 751       ('print "_print")
 752       (else (error #f "don't know this builtin"))))
 753   (define (builtin-args e)
 754     (case e
 755       ('+ '(x y))
 756       ('- '(x y))
 757       ('* '(x y))
 758       ('! '(x))
 759       ('= '(x y))
 760       ('bool->int '(x))
 761       ('print '(x))
 762       (else (error #f "don't know this builtin"))))
 763
 764   (define (add-builtin-lambda e)
 765     (let* [(label (builtin-name e))
 766            (captured '())
 767            (args (builtin-args e))
 768            (body `(,e ,@args))
 769            (new-lambda (cons label (list dls captured args body)))]
 770       (set! lambdas (cons new-lambda lambdas))
 771       `(closure ,label ,captured)))
 772
 773   (define (extract e)
 774     (case (ast-type e)
 775       ('lambda (add-lambda e))
 776       ('let `(let ,(map (lambda (b) `(,(car b) ,@(extract (cdr b)))) (let-bindings e))
 777                ,@(map extract (let-body e))))
 778       ('app (append
 779                                         ; if a builtin is used as a function, don't generate lambda
 780              (if (eqv? 'builtin (ast-type (car e)))
 781                  (list (car e))
 782                  (list (extract (car e))))
 783              (map extract (cdr e))))
 784
 785       ('builtin
 786        (if (find-builtin-lambda e)
 787            (find-builtin-lambda e)
 788            (add-builtin-lambda e)))
 789
 790
 791       (else (ast-traverse extract e))))
 792   (let ((transformed (extract program)))
 793     (cons lambdas transformed)))
 794
 795 (define (extract-strings program)
 796   (let ((cur-string 0)
 797         (strings '())) ; assoc list of labels -> string
 798     (define (fresh-string)
 799       (set! cur-string (+ cur-string 1))
 800       (format "string~a" (- cur-string 1)))
 801     (define (extract e)
 802       (case (ast-type e)
 803         ('string-literal
 804          (let ((label (fresh-string)))
 805            (set! strings (cons (cons label e) strings))
 806            `(static-string ,label)))
 807         (else (ast-traverse extract e))))
 808     (let ((transformed (extract program)))
 809       (cons strings transformed))))
 810
 811 (define (emit-string-data s)
 812   (emit "~a:" (car s))
 813   (emit "\t.string \"~a\"" (cdr s)))
 814
 815                                         ; 24(%rbp) mem arg 1
 816                                         ; 16(%rbp) mem arg 0          prev frame
 817                                         ; -----------------------
 818                                         ;  8(%rbp) return address     cur frame
 819                                         ;  0(%rbp) prev %rbp
 820                                         ; -8(%rbp) do what you want
 821                                         ;  ...     do what you want
 822                                         ;  0(%rsp) do what you want
 823
 824 (define (param-register n)
 825   (case n
 826     (0 "%rdi")
 827     (1 "%rsi")
 828     (2 "%rdx")
 829     (3 "%rcx")
 830     (4 "%r8")
 831     (5 "%r9")
 832     (else (error #f "need to test out the below"))
 833     (else (format "~a(%rsp)" (- n 6)))))
 834
 835 (define (initialize-heap)
 836   (let ((mmap
 837          (case target
 838            ('darwin "0x20000c5")
 839            ('linux "9"))))
 840                                         ; allocate some heap memory
 841     (emit "mov $~a, %rax" mmap) ; mmap
 842     (emit "xor %rdi, %rdi")  ; addr = null
 843     (emit "movq $1024, %rsi")   ; length = 1kb
 844     (emit "movq $0x3, %rdx") ; prot = read | write = 0x2 | 0x1
 845                                         ;    flags = anonymous | private
 846     (case target
 847       ('darwin (emit "movq $0x1002, %r10")) ; anon = 0x1000, priv = 0x02
 848       ('linux (emit "movq $0x22, %r10")))   ; anon = 0x20,   priv = 0x02
 849     (emit "movq $-1, %r8") ; fd = -1
 850     (emit "xor %r9, %r9") ; offset = 0
 851     (emit "syscall")
 852                                         ; %rax now contains pointer to the start of the heap
 853                                         ; keep track of it
 854
 855     (emit "movq heap_start@GOTPCREL(%rip), %rsi")
 856     (emit "movq %rax, (%rsi)")))
 857
 858 (define (codegen program-without-stdlib)
 859   (set! cur-label 0)
 860   (set! cur-lambda 0)
 861   (let* ([program (append stdlib program-without-stdlib)]
 862          [data-layouts (program-data-layouts program)]
 863
 864          [pattern-matched (expand-pattern-matches program)]
 865          [type-annotated (annotate-types pattern-matched)]
 866          [stack-annotated (annotate-stack-values data-layouts
 867                                                  type-annotated)]
 868
 869          (strings-res (extract-strings stack-annotated))
 870          (strings (car strings-res))
 871          (lambdas-res (extract-lambdas data-layouts (cdr strings-res)))
 872          (lambdas (car lambdas-res))
 873          (xform-prog (cdr lambdas-res)))
 874
 875                                         ; verify pattern matches are total
 876     (verify-cases data-layouts type-annotated)
 877
 878     (emit "\t.global _start")
 879     (emit "\t.text")
 880
 881     (for-each codegen-lambda lambdas)
 882
 883     (emit "_start:")
 884
 885     (initialize-heap)
 886
 887     (emit "movq %rsp, %rbp")            ; set up the base pointer
 888     (codegen-expr xform-prog (- wordsize) (make-env data-layouts '()))
 889
 890                                         ; exit syscall
 891     (emit "mov %rax, %rdi")
 892     (case target
 893       ('darwin (emit "movq $0x2000001, %rax"))
 894       ('linux (emit "mov $60, %rax")))
 895     (emit "syscall")
 896
 897     (emit ".data")
 898
 899     (emit "heap_start:")
 900     (emit "\t.quad 0")
 901
 902     (for-each emit-string-data strings)))
 903
 904 (define (compile-to-binary program output t)
 905   (set! target t)
 906   (when (not (eq? (typecheck program) 'Int)) (error #f "not an Int"))
 907   (let ([tmp-path "/tmp/a.s"])
 908     (when (file-exists? tmp-path) (delete-file tmp-path))
 909     (with-output-to-file tmp-path
 910       (lambda () (codegen program)))
 911
 912     (case target
 913       ('darwin
 914        (system "as /tmp/a.s -o /tmp/a.o")
 915        (system (format "ld /tmp/a.o -e _start -macosx_version_min 10.14 -static -o ~a" output)))
 916       ('linux
 917        (system "as /tmp/a.s -o /tmp/a.o")
 918        (system (format "ld /tmp/a.o -o ~a" output))))))
 919
 920 ; NOTES
 921 ; syscalls in linux and darwin use the following arguments for syscall instruction:
 922 ; %rax = syscall #
 923 ; %rdi = 1st arg
 924 ; %rsi = 2nd arg
 925 ; %rdx = 3rd arg
 926 ; %r10 = 4th arg
 927 ; %r8  = 5th arg
 928 ; %r9  = 6th arg
 929
 930 ; on darwin, unix/posix syscalls are offset by 0x2000000 (syscall classes)
 931 ; https://opensource.apple.com/source/xnu/xnu-2782.20.48/bsd/kern/syscalls.master
 932 ; documentation for most syscalls: /Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX.sdk/usr/include/sys