JITed LLVM 代码如何回调到 Go 函数中?
How can JITed LLVM code call back into a Go function?
我正在编写代码,使用 LLVM Go bindings 从自定义 VM 字节码生成 LLVM 字节码;然后代码被 JITed 并在进程中执行。
自定义 VM 字节码有几个不能直接在 LLVM 中实现的操作,因为它们需要更改外部状态;这些操作码的功能是作为 Go 函数实现的。
excellent guides 从 Go 开始生成 LLVM 字节码,但 none 解决了回调或导出函数的问题。是否可以生成 LLVM 指令来回调 Go 函数?如果可以,怎么做?
我已经尝试了下面@arrowd 描述的方法,但似乎没有用。源代码,改编自 Felix Angell 的博客 post:
package main
import (
"C"
"fmt"
"llvm.org/llvm/final/bindings/go/llvm"
)
// export AddInts
func AddInts(arg1, arg2 int) int {
return arg1 + arg2;
}
func main() {
// setup our builder and module
builder := llvm.NewBuilder()
mod := llvm.NewModule("my_module")
// create our function prologue
main := llvm.FunctionType(llvm.Int32Type(), []llvm.Type{}, false)
llvm.AddFunction(mod, "main", main)
block := llvm.AddBasicBlock(mod.NamedFunction("main"), "entry")
builder.SetInsertPoint(block, block.FirstInstruction())
// int a = 32
a := builder.CreateAlloca(llvm.Int32Type(), "a")
builder.CreateStore(llvm.ConstInt(llvm.Int32Type(), 32, false), a)
// int b = 16
b := builder.CreateAlloca(llvm.Int32Type(), "b")
builder.CreateStore(llvm.ConstInt(llvm.Int32Type(), 16, false), b)
// return a + b
bVal := builder.CreateLoad(b, "b_val")
aVal := builder.CreateLoad(a, "a_val")
addIntsType := llvm.FunctionType(llvm.Int32Type(), []llvm.Type{llvm.Int32Type(), llvm.Int32Type()}, false)
addInts := llvm.AddFunction(mod, "AddInts", addIntsType)
call := builder.CreateCall(addInts, []llvm.Value{aVal, bVal}, "AddInts")
builder.CreateRet(call)
// verify it's all good
if ok := llvm.VerifyModule(mod, llvm.ReturnStatusAction); ok != nil {
fmt.Println(ok.Error())
}
mod.Dump()
// create our exe engine
engine, err := llvm.NewExecutionEngine(mod)
if err != nil {
fmt.Println(err.Error())
}
// run the function!
funcResult := engine.RunFunction(mod.NamedFunction("main"), []llvm.GenericValue{})
fmt.Printf("%d\n", funcResult.Int(false))
}
Returns:
; ModuleID = 'my_module'
define i32 @main() {
entry:
%a = alloca i32
store i32 32, i32* %a
%b = alloca i32
store i32 16, i32* %b
%b_val = load i32* %b
%a_val = load i32* %a
%AddInts = call i32 @AddInts(i32 %a_val, i32 %b_val)
ret i32 %AddInts
}
declare i32 @AddInts(i32, i32)
LLVM ERROR: Tried to execute an unknown external function: AddInts
exit status 1
根据 this answer,您可以通过添加 "export" 注释将 Go 函数导出为 C 函数。如果您为您的函数执行此操作,LLVM JIT 应该能够在运行时链接期间解析此符号。答案没有提供调用该导出函数的 C 代码,但假设它只是 goProgressCB(args);
那么您可以为该函数创建一个 CallInst
并对其进行 JIT。
已更新。
看看。好像最近的 Go 可以生成 C 头文件,让你调用 Go 返回。有了这个,您可以使用 clang -S -emit-llvm
或 clang -march=cpp
编译它们,并获得对构成调用指令的 LLVM API 的文本 IR 或 C++ 调用。
主要问题是您实际上并没有在这里使用 JIT,您使用的是解释器。 llvm.NewExecutionEngine
将构建一个 JIT 编译器(如果可用),否则返回到解释器。
你应该使用llvm.NewMCJITCompiler
。如果没有其他更改,这将失败,原因与 NewExecutionEngine 首先没有产生 JIT 的原因相同。您需要将以下内容添加到 "func main()":
llvm.LinkInMCJIT()
llvm.InitializeNativeTarget()
llvm.InitializeNativeAsmPrinter()
您的代码的另一个较小的问题是(缺少)空格在“//export”魔术中很重要。
我正在编写代码,使用 LLVM Go bindings 从自定义 VM 字节码生成 LLVM 字节码;然后代码被 JITed 并在进程中执行。
自定义 VM 字节码有几个不能直接在 LLVM 中实现的操作,因为它们需要更改外部状态;这些操作码的功能是作为 Go 函数实现的。
excellent guides 从 Go 开始生成 LLVM 字节码,但 none 解决了回调或导出函数的问题。是否可以生成 LLVM 指令来回调 Go 函数?如果可以,怎么做?
我已经尝试了下面@arrowd 描述的方法,但似乎没有用。源代码,改编自 Felix Angell 的博客 post:
package main
import (
"C"
"fmt"
"llvm.org/llvm/final/bindings/go/llvm"
)
// export AddInts
func AddInts(arg1, arg2 int) int {
return arg1 + arg2;
}
func main() {
// setup our builder and module
builder := llvm.NewBuilder()
mod := llvm.NewModule("my_module")
// create our function prologue
main := llvm.FunctionType(llvm.Int32Type(), []llvm.Type{}, false)
llvm.AddFunction(mod, "main", main)
block := llvm.AddBasicBlock(mod.NamedFunction("main"), "entry")
builder.SetInsertPoint(block, block.FirstInstruction())
// int a = 32
a := builder.CreateAlloca(llvm.Int32Type(), "a")
builder.CreateStore(llvm.ConstInt(llvm.Int32Type(), 32, false), a)
// int b = 16
b := builder.CreateAlloca(llvm.Int32Type(), "b")
builder.CreateStore(llvm.ConstInt(llvm.Int32Type(), 16, false), b)
// return a + b
bVal := builder.CreateLoad(b, "b_val")
aVal := builder.CreateLoad(a, "a_val")
addIntsType := llvm.FunctionType(llvm.Int32Type(), []llvm.Type{llvm.Int32Type(), llvm.Int32Type()}, false)
addInts := llvm.AddFunction(mod, "AddInts", addIntsType)
call := builder.CreateCall(addInts, []llvm.Value{aVal, bVal}, "AddInts")
builder.CreateRet(call)
// verify it's all good
if ok := llvm.VerifyModule(mod, llvm.ReturnStatusAction); ok != nil {
fmt.Println(ok.Error())
}
mod.Dump()
// create our exe engine
engine, err := llvm.NewExecutionEngine(mod)
if err != nil {
fmt.Println(err.Error())
}
// run the function!
funcResult := engine.RunFunction(mod.NamedFunction("main"), []llvm.GenericValue{})
fmt.Printf("%d\n", funcResult.Int(false))
}
Returns:
; ModuleID = 'my_module'
define i32 @main() {
entry:
%a = alloca i32
store i32 32, i32* %a
%b = alloca i32
store i32 16, i32* %b
%b_val = load i32* %b
%a_val = load i32* %a
%AddInts = call i32 @AddInts(i32 %a_val, i32 %b_val)
ret i32 %AddInts
}
declare i32 @AddInts(i32, i32)
LLVM ERROR: Tried to execute an unknown external function: AddInts
exit status 1
根据 this answer,您可以通过添加 "export" 注释将 Go 函数导出为 C 函数。如果您为您的函数执行此操作,LLVM JIT 应该能够在运行时链接期间解析此符号。答案没有提供调用该导出函数的 C 代码,但假设它只是 goProgressCB(args);
那么您可以为该函数创建一个 CallInst
并对其进行 JIT。
已更新。
看看clang -S -emit-llvm
或 clang -march=cpp
编译它们,并获得对构成调用指令的 LLVM API 的文本 IR 或 C++ 调用。
主要问题是您实际上并没有在这里使用 JIT,您使用的是解释器。 llvm.NewExecutionEngine
将构建一个 JIT 编译器(如果可用),否则返回到解释器。
你应该使用llvm.NewMCJITCompiler
。如果没有其他更改,这将失败,原因与 NewExecutionEngine 首先没有产生 JIT 的原因相同。您需要将以下内容添加到 "func main()":
llvm.LinkInMCJIT()
llvm.InitializeNativeTarget()
llvm.InitializeNativeAsmPrinter()
您的代码的另一个较小的问题是(缺少)空格在“//export”魔术中很重要。