빅데이터(정형) 분석할 때 전처리는 어떻게 진행하시나요?

빅데이터(정형) 분석(10gb이상)을 할 때 data transformation (standard , onehot 등등)은 어떤 툴을 쓰시나요? 현재 저는 파이썬 패키지(sklearn,dask)로 진행했는데 여전히 메모리가 부담이 되는 상황입니다. 다른 분들은 어떤식으로 하는지 궁금하고 파이썬자체만으로 가능한 지 여쭤보고 싶습니다. 감사합니다.