RuntimeError: p.attn_bias_ptr is not correctly aligned 오류 해결 방법

오류 발생 개요

HuggingFace에서 gemma3 모델을 다운받아 image input을 포함하여

inference를 시도하던 도중 다음과 같은 에러가 발생하였습니다.

  File "lib/python3.12/site-packages/transformers/models/gemma3/modeling_gemma3.py", line 443, in forward
    hidden_states, self_attn_weights = self.self_attn(
                                       ^^^^^^^^^^^^^^^
  File "lib/python3.12/site-packages/torch/nn/modules/module.py", line 1739, in _wrapped_call_impl
    return self._call_impl(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "lib/python3.12/site-packages/torch/nn/modules/module.py", line 1750, in _call_impl
    return forward_call(*args, **kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "lib/python3.12/site-packages/transformers/models/gemma3/modeling_gemma3.py", line 365, in forward
    attn_output, attn_weights = attention_interface(
                                ^^^^^^^^^^^^^^^^^^^^
  File "lib/python3.12/site-packages/transformers/integrations/sdpa_attention.py", line 54, in sdpa_attention_forward
    attn_output = torch.nn.functional.scaled_dot_product_attention(
                  ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
RuntimeError: p.attn_bias_ptr is not correctly aligned

 

 

해결 방법

다음과 같은 코드를 최상단에 추가하여 실행을 하니 위에서 발생했던 오류 없이

정상적인 실행이 가능하였습니다.

import torch
torch.backends.cuda.enable_mem_efficient_sdp(False)
torch.backends.cuda.enable_flash_sdp(False)
torch.backends.cuda.enable_math_sdp(True)

 

이 글이 gemma3 모델 사용 과정에서 오류 해결에 도움이 되셨기를 기원하겠습니다.

감사합니다.