如何使用 Jackson Mixin 将 Json 映射到 Proto？

Question

我们在后端应用程序中工作，我们在其中使用 Protobuffers 作为 model/pojo 文件。我们必须将 API 称为 returns 作为 JSON 的响应。

我正在寻找将 JSON 文件直接映射到 proto 的解决方案。 java 个文件。例如，我们的项目中有示例原型：

message Example{
 string id                    = 1;
 string another_id            = 2;
 int32 code                   = 3;
 string name                 = 4;
}

现在我们需要在 JSON 中调用一个 API 的 returns 响应：

{
   "json_id":"3",
   "json_another_id":"43",
   "code":34,
   "json_name":"Yeyproto"
}

现在，我想直接用 Proto 映射响应（在 json 中）。请让我知道该怎么做。请注意，由于 Example.java 是自动生成的 java 文件，因此我无法对此 class 进行任何更改。另外，请注意 json 和 proto 的字段是不同的。

这是我试过的方法。我尝试使用 Jackson Mixin 并将映射信息保存在 mixin class 中，但它不起作用并抛出一些奇怪的 FieldDiscriptor 错误。

public abstract class UserMixin { 
    @JsonProperty("json_id")
    String id;

    @JsonProperty("json_another_id")
    String another_id;

    @JsonProperty("code")
    int code;

    @JsonProperty("json_name")
    String name;
}

和用法示例：

ObjectMapper objectMapper = new ObjectMapper();
objectMapper.addMixIn(Example.class, ExampleMixin.class);
Position usr = objectMapper.readerFor(Example.class).readValue(json);
System.out.println(json);

异常：

om.fasterxml.jackson.databind.exc.InvalidDefinitionException: Cannot find a (Map) Key deserializer for type [simple type, class com.google.protobuf.Descriptors$FieldDescriptor]

请帮我找到解决这个问题的好方法。

Answer 1

类由 protoc 编译器生成的并不简单 POJO。它们包含我们 "filter out" 使 Jackson 工作所需的许多不同方法和类型。

已修复 `MixIn` class

确实有比自定义解串器更简单的解决方案。您需要忽略 Map<Descriptors.FieldDescriptor, Object> getAllFields() 方法并通过添加下划线改进字段名称：_.

示例：

import com.celoxity.protobuf.ExampleOuterClass.Example;
import com.fasterxml.jackson.annotation.JsonIgnore;
import com.fasterxml.jackson.annotation.JsonProperty;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.SerializationFeature;
import com.fasterxml.jackson.databind.json.JsonMapper;
import com.google.protobuf.Descriptors;
import com.google.protobuf.Timestamp;

import java.time.Instant;
import java.util.Map;

public class ProtobufApp {
    public static void main(String[] args) throws Exception {
        ObjectMapper mapper = JsonMapper.builder()
                .enable(SerializationFeature.INDENT_OUTPUT)
                .addMixIn(Example.class, ExampleMixin.class)
                .addMixIn(Timestamp.class, TimestampMixin.class)
                .build();

        String json = "{" +
                "\"json_id\":\"3\"," +
                "\"json_another_id\":\"43\"," +
                "\"code\":34," +
                "\"json_name\":\"Yeyproto\"," +
                "\"currTime\":{\"seconds\":1575909372,\"nanos\":35000000}" +
            "}";
        Example deserialised = mapper.readValue(json, Example.class);

        System.out.println(deserialised);
        Timestamp currTime = deserialised.getCurrTime();
        System.out.println(Instant.ofEpochSecond(currTime.getSeconds(), currTime.getNanos()));
    }
}

abstract class ExampleMixin extends ProtoBufIgnoredMethods {

    @JsonProperty("json_id")
    String id_;

    @JsonProperty("json_another_id")
    String anotherId_;

    @JsonProperty("code")
    int code_;

    @JsonProperty("json_name")
    String name_;

    @JsonProperty("currTime")
    Timestamp currTime_;
}

abstract class TimestampMixin extends ProtoBufIgnoredMethods {
    @JsonProperty("seconds")
    String seconds_;

    @JsonProperty("nanos")
    String nanos_;
}

abstract class ProtoBufIgnoredMethods {
    @JsonIgnore
    public abstract Map<Descriptors.FieldDescriptor, Object> getAllFields();
}

以上代码打印：

id: "3"
another_id: "43"
code: 34
name: "Yeyproto"
currTime {
  seconds: 1575909372
  nanos: 35000000
}

2019-12-09T16:36:12.035Z

自定义解串器 + `com.hubspot` 库

在那种情况下，~~最简单的解决方案~~ 是为所有 com.google.protobuf.* 类型编写一组反序列化器和序列化器编译成 POJO。幸运的是，已经实现了处理它们的模块：jackson-datatype-protobuf.

您的示例用法如下所示：

import com.fasterxml.jackson.core.JsonParser;
import com.fasterxml.jackson.databind.DeserializationContext;
import com.fasterxml.jackson.databind.JsonDeserializer;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.fasterxml.jackson.databind.SerializationFeature;
import com.fasterxml.jackson.databind.json.JsonMapper;
import com.fasterxml.jackson.databind.module.SimpleModule;
import com.fasterxml.jackson.databind.node.ObjectNode;
import com.hubspot.jackson.datatype.protobuf.ProtobufModule;

import java.io.IOException;

public class ProtobufApp {
    public static void main(String[] args) throws Exception {
        SimpleModule pojosModule = new SimpleModule();
        pojosModule.addDeserializer(Example.class, new ExampleJsonDeserializer());

        ObjectMapper mapper = JsonMapper.builder()
                .enable(SerializationFeature.INDENT_OUTPUT)
                .addModule(new ProtobufModule())
                .addModule(pojosModule)
                .build();

        String json = "{\"json_id\":\"3\",\"json_another_id\":\"43\",\"code\":34,\"json_name\":\"Yeyproto\"}";
        Example deserialised = mapper.readValue(json, Example.class);
        System.out.println(deserialised);
    }
}

class ExampleJsonDeserializer extends JsonDeserializer<Example> {
    @Override
    public Example deserialize(JsonParser p, DeserializationContext ctxt) throws IOException {
        ObjectNode root = p.readValueAsTree();
        return Example.newBuilder()
                .setId(root.get("json_id").asText())
                .setAnotherId(root.get("json_another_id").asText())
                .setName(root.get("json_name").asText())
                .setCode(root.get("json_id").asInt())
                .build();
    }
}

示例代码打印：

id: "3"
another_id: "43"
code: 3
name: "Yeyproto"

Maven 依赖项：

<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-databind</artifactId>
    <version>2.10.0</version>
</dependency>
<dependency>
    <groupId>com.google.protobuf</groupId>
    <artifactId>protobuf-java</artifactId>
    <version>3.11.0</version>
</dependency>
<dependency>
    <groupId>com.hubspot.jackson</groupId>
    <artifactId>jackson-datatype-protobuf</artifactId>
    <version>0.9.11-jackson2.9</version>
</dependency>

Answer 2

这是使用 protobuf-java-util 库将 Json 反序列化为 Proto 的另一个示例：

        File file = new File("src/test/resources/ACDSResponse.json");
        Reader bufferedReader = new BufferedReader(new FileReader(file));
        Acds.GetLocalizedAttributesBatchResponse.Builder acdsResponseBuilder = Acds.GetLocalizedAttributesBatchResponse.newBuilder();
        JsonFormat.parser().ignoringUnknownFields().merge(bufferedReader, acdsResponseBuilder);``

如何使用 Jackson Mixin 将 Json 映射到 Proto？

How to map Json to Proto using Jackson Mixin?

java

json

protocol-buffers

jackson

jackson-databind

已修复 `MixIn` class

自定义解串器 + `com.hubspot` 库

如何使用 Jackson Mixin 将 Json 映射到 Proto？

How to map Json to Proto using Jackson Mixin?

java

json

protocol-buffers

jackson

jackson-databind

已修复 MixIn class

自定义解串器 + com.hubspot 库

已修复 `MixIn` class

自定义解串器 + `com.hubspot` 库