PostgreSQL
 sql >> Database >  >> RDS >> PostgreSQL

Postgresql - prestazioni dell'utilizzo di array in un grande database

Penso che dovresti usare un elements tabella:

  • Postgres sarebbe in grado di utilizzare le statistiche per prevedere quante righe corrisponderanno prima di eseguire la query, quindi sarebbe in grado di utilizzare il miglior piano di query (è più importante se i tuoi dati non sono distribuiti uniformemente);

  • sarai in grado di localizzare i dati della query utilizzando CLUSTER elements USING elements_id_element_idx;

  • quando Postgres 9.2 sarebbe stato rilasciato, saresti in grado di sfruttare solo le scansioni dell'indice;

Ma ho fatto dei test per 10 milioni di elementi:

create table elements (id_item bigint, id_element bigint);
insert into elements
  select (random()*524288)::int, (random()*32768)::int
    from generate_series(1,10000000);

\timing
create index elements_id_item on elements(id_item);
Time: 15470,685 ms
create index elements_id_element on elements(id_element);
Time: 15121,090 ms

select relation, pg_size_pretty(pg_relation_size(relation))
  from (
    select unnest(array['elements','elements_id_item', 'elements_id_element'])
      as relation
  ) as _;
      relation       | pg_size_pretty 
---------------------+----------------
 elements            | 422 MB
 elements_id_item    | 214 MB
 elements_id_element | 214 MB



create table arrays (id_item bigint, a_elements bigint[]);
insert into arrays select array_agg(id_element) from elements group by id_item;

create index arrays_a_elements_idx on arrays using gin (a_elements);
Time: 22102,700 ms

select relation, pg_size_pretty(pg_relation_size(relation))
  from (
    select unnest(array['arrays','arrays_a_elements_idx']) as relation
  ) as _;
       relation        | pg_size_pretty 
-----------------------+----------------
 arrays                | 108 MB
 arrays_a_elements_idx | 73 MB

Quindi, d'altra parte, gli array sono più piccoli e hanno un indice più piccolo. Farei circa 200 milioni di test di elementi prima di prendere una decisione.