如何在不反序列化整个 JSON 文件的情况下仅解析特定对象？

Question

我有一个巨大的 JSON 文件（数万个对象，>100 MB 文件）我正在尝试解析以提取特定对象。由于文件这么大，我试图只反序列化我需要的特定部分（如果可能的话），而不必反序列化整个文件。

应该根据每个对象中包含的特定属性 "arena_id":xxxxx 的值找到所述对象，对象的格式如下（精简版）：

{"object":"card","id":"61a908e8-6952-46c0-94ec-3962b7a4caef","oracle_id":"e70f5520-1b9c-4351-8484-30f0dc692e01","multiverse_ids":[460007],"mtgo_id":71000,"arena_id":69421}

为了反序列化整个文件我写了下面的代码：

public static RootObject GetCardFromBulkScryfall()
    {
        string s = null;

        using (StreamReader streamReader = new StreamReader(Path.Combine(GetAppDataPath(), @"scryfall-default-cards.json")))
        {
            s = streamReader.ReadToEnd();
        }

            RootObject card = JsonConvert.DeserializeObject<RootObject>(s);


        return card;
    }

我什至不确定我正在尝试做的事情是否可行，但以防万一这不是我的问题是处理这么大的文件而不必将其整个反序列化的最佳方法是什么。

Answer 1

使用 JsonTextReader with JsonTextWriter 枚举对象，如果它们的属性具有所需的值，则反序列化它们。

此代码在我的 PC 上处理 112MB JSON 文件需要 16MB 的内存。

如果您有任何问题或需要修复，请告诉我。

using Newtonsoft.Json;
using Newtonsoft.Json.Linq;
using System;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;

namespace ConsoleApp1
{
    class Program
    {
        static void Main(string[] args)
        {
            try
            {
                string jsonFilePath = "1.json";

                string propName = "arena_id";

                RootObject[] objects = SearchObjectsWithProperty<RootObject, int>(jsonFilePath, propName, 69421, CancellationToken.None).ToArray();

                System.Diagnostics.Debugger.Break();
            }
            catch (Exception ex)
            {
                Console.WriteLine(ex.Message);
                System.Diagnostics.Debugger.Break();
            }
        }

        static IEnumerable<T> SearchObjectsWithProperty<T, V>(string jsonFilePath, string propName, V propValue, CancellationToken cancellationToken) where V : IEquatable<V>
        {
            using (TextReader tr = File.OpenText(jsonFilePath))
            {
                using (JsonTextReader jr = new JsonTextReader(tr))
                {
                    StringBuilder currentObjectJson = new StringBuilder();

                    while (jr.Read())
                    {
                        cancellationToken.ThrowIfCancellationRequested();                        

                        if (jr.TokenType == JsonToken.StartObject)
                        {
                            currentObjectJson.Clear();

                            using (TextWriter tw = new StringWriter(currentObjectJson))
                            {
                                using (JsonTextWriter jw = new JsonTextWriter(tw))
                                {
                                    jw.WriteToken(jr);

                                    string currObjJson = currentObjectJson.ToString();

                                    JObject obj = JObject.Parse(currObjJson);

                                    if (obj[propName].ToObject<V>().Equals(propValue))
                                        yield return obj.ToObject<T>();
                                }
                            }
                        }
                    }
                }
            }
        }
    }

    public class RootObject
    {
        public string @object { get; set; }
        public string id { get; set; }
        public string oracle_id { get; set; }
        public int[] multiverse_ids { get; set; }
        public int mtgo_id { get; set; }
        public int arena_id { get; set; }
    }
}

Answer 2

如果你不关心内存，而是速度，有一个从 C++ 翻译的快速简单的解析器作为我第一个问题的答案，但它有树状输出，除了打印和 debug/browse 对象 (VisualNode3).

如何在不反序列化整个 JSON 文件的情况下仅解析特定对象？

How to parse only specific objects without deserializing the whole JSON file?

c#

json

json.net

json-deserialization