ビッグデータの前処理について話せます
■ 4TB 以上のビッグデータ(CSV)を低価格で扱うノウハウがあります。
4TB程度のビッグデータ(主にCSV形式)を扱う経験があります。nysol や、sqlite を用いた処理ができます。
小型PCもしくは、NAS上のDocker で動作するのでハード的にも激安のソリューションについてお教えできます。4TBぐらいになるとAWSのS3におくのも金額的に非現実的です。
ビッグデータソリューションとしては、nysol を使うことが多いです。
https://www.nysol.jp/