如何找到pytorch模型的体系结构,该模型只有权重字典? 我想使用该模型,但首先代码不起作用,并输出以下错误,这表明它不能仅使用权重加载: 然后我下载了pytorch-bin文件,但它只包含权重dictionnary(如上所述的state dictionnary),这意味着如果我想使用该模型,我必须初始化良好的体系结构,然后加载权重

如何找到pytorch模型的体系结构,该模型只有权重字典? 我想使用该模型,但首先代码不起作用,并输出以下错误,这表明它不能仅使用权重加载: 然后我下载了pytorch-bin文件,但它只包含权重dictionnary(如上所述的state dictionnary),这意味着如果我想使用该模型,我必须初始化良好的体系结构,然后加载权重,pytorch,huggingface-transformers,huggingface-tokenizers,state-dict,Pytorch,Huggingface Transformers,Huggingface Tokenizers,State Dict,但我该如何找到适合如此复杂模型重量的体系结构呢?我看到一些方法可以根据权重字典找到模型,但我没能让它们工作(我想) 如何才能找到权重词典的体系结构以使模型工作?甚至有可能吗?Hi@AntonKamanda,我是这个模型的作者。它不起作用的原因是我使用了HuggingFace的transformers库中没有的自定义模型架构。因此,在检查模型类型时失败。这是我开发的笔记本,其中包含我定义的模型架构,以及如何从HuggingFace的模型中心训练和加载预训练模型:。对于你的问题,我认为反向工程是不可

但我该如何找到适合如此复杂模型重量的体系结构呢?我看到一些方法可以根据权重字典找到模型,但我没能让它们工作(我想)


如何才能找到权重词典的体系结构以使模型工作?甚至有可能吗?

Hi@AntonKamanda,我是这个模型的作者。它不起作用的原因是我使用了HuggingFace的transformers库中没有的自定义模型架构。因此,在检查模型类型时失败。这是我开发的笔记本,其中包含我定义的模型架构,以及如何从HuggingFace的模型中心训练和加载预训练模型:。对于你的问题,我认为反向工程是不可能的。我认为您需要原始的实现。
    from transformers import AutoTokenizer, AutoModel
      
    tokenizer = AutoTokenizer.from_pretrained("ncoop57/multilingual-codesearch")
    
    model = AutoModel.from_pretrained("ncoop57/multilingual-codesearch")
ValueError: Unrecognized model in ncoop57/multilingual-codesearch. Should have a `model_type` key in its config.json, or contain one of the following strings in its name: gpt_neo, big_bird, speech_to_text, vit, wav2vec2, m2m_100, convbert, led, blenderbot-small, retribert, ibert, mt5, t5, mobilebert, distilbert, albert, bert-generation, camembert, xlm-roberta, pegasus, marian, mbart, mpnet, bart, blenderbot, reformer, longformer, roberta, deberta-v2, deberta, flaubert, fsmt, squeezebert, bert, openai-gpt, gpt2, transfo-xl, xlnet, xlm-prophetnet, prophetnet, xlm, ctrl, electra, encoder-decoder, funnel, lxmert, dpr, layoutlm, rag, tapas