[Pytorch / Huggingface] Some weights of the model checkpoint at bert-base-uncased were not used when initializing BertForMultiLabelSequenceClassification 해결법

---

Some weights of the model checkpoint at bert-base-uncased were not used when initializing BertForMultiLabelSequenceClassification 해결법

 

해당 메시지는 사실 에러가 아니라 워닝으로, 코드 실행에는 문제가 없다.

pretrained 모델을 불러와서 분류, 요약과 같은 down stream task를 실행하고자 할 때 주로 발생하는데,

초기화되지 않은 weight가 있거나, 불러왔는데 사용을 하지 않는 weight가 존재할 때 발생한다.

 

정상적으로 동작하는데에는 전혀 지장이 없으며, 분류, 요약에 맡게 다시 Fine-Tuning하는 과정이 있기 때문에 초기화되지 않은 weight도 정상적으로 바뀌게 된다. 하지만 이러한 warning이 굉장히 눈에 거슬리고, 멀티프로세싱을 하는 경우 log를 확인하는데 애로사항이 있으므로, 경고 기능을 끌 수 있다.

 

from transformers import logging
logging.set_verbosity_error()

 

해당 기능은 Error외에 Warning이나 Information을 제공받지 않도록 하므로, 디버깅 할때는 유용한 정보를 놓치게 될 수도 있지만, 디버깅이 끝나고 정상 동작이 확인된 코드의 경우 위와 같이 Error만 로그를 받겠다고 선언하면 깔끔한 output을 확인할 수 있다. 이 후 워닝이 발생하지 않는다!