Завантаження великих CSV файлів в Postgres

  1. Для роботи з великим файлом треба спочатку його скопіювати в под operational-instance відповідного реєстру. Приклад команди:

    kubectl cp -n <namespace> ./your_csv_file.csv operational-instance-<hash>:/pgdata/your_csv_file.csv
  2. Після цього перейдіть в pgadmin і зробіть вхід як користувач postgres, пароль знаходиться в secret operational-pguser-postgres.

    Змінити дані підключення можна в налаштуваннях БД:

    files to postgres 1

  3. В query tool для бази registry створіть таблицю, яка відповідає структурі даних, що наявні в CSV файлі.

    Приклад:

    CREATE TABLE test_doc (
        test_doc_id TEXT,
        test_doc_example1 TEXT,
        test_doc_example2 VARCHAR(10),
        PRIMARY KEY (test_doc_id)
    );
  4. Виконайте наступну команду в query tool для бази registry:

    COPY <ім'я таблиці>
    FROM '/pgdata/your_csv_file.csv'
    DELIMITER ','
    CSV HEADER;
  5. Дочекайтесь завантаження даних.