Mysql
 sql >> Database >  >> RDS >> Mysql

Il modo migliore per archiviare enormi dati di registro

Il partizionamento in postgresql funziona alla grande per i log di grandi dimensioni. Per prima cosa crea la tabella padre:

create table  game_history_log (
    gameid integer,
    views integer,
    plays integer,
    likes integer,
    log_date date
);

Ora crea le partizioni. In questo caso uno per ogni mese, 900 k righe, andrebbe bene:

create table game_history_log_201210 (
    check (log_date between '2012-10-01' and '2012-10-31')
) inherits (game_history_log);

create table game_history_log_201211 (
    check (log_date between '2012-11-01' and '2012-11-30')
) inherits (game_history_log);

Notare i vincoli di controllo in ogni partizione. Se provi a inserire nella partizione sbagliata:

insert into game_history_log_201210 (
    gameid, views, plays, likes, log_date
) values (1, 2, 3, 4, '2012-09-30');
ERROR:  new row for relation "game_history_log_201210" violates check constraint "game_history_log_201210_log_date_check"
DETAIL:  Failing row contains (1, 2, 3, 4, 2012-09-30).

Uno dei vantaggi del partizionamento è che cercherà solo nella partizione corretta riducendo drasticamente e in modo coerente la dimensione della ricerca indipendentemente dal numero di anni di dati disponibili. Ecco la spiegazione per la ricerca di una certa data:

explain
select *
from game_history_log
where log_date = date '2012-10-02';
                                              QUERY PLAN                                              
------------------------------------------------------------------------------------------------------
 Result  (cost=0.00..30.38 rows=9 width=20)
   ->  Append  (cost=0.00..30.38 rows=9 width=20)
         ->  Seq Scan on game_history_log  (cost=0.00..0.00 rows=1 width=20)
               Filter: (log_date = '2012-10-02'::date)
         ->  Seq Scan on game_history_log_201210 game_history_log  (cost=0.00..30.38 rows=8 width=20)
               Filter: (log_date = '2012-10-02'::date)

Si noti che, a parte la tabella padre, ha scansionato solo la partizione corretta. Ovviamente puoi avere indici sulle partizioni per evitare una scansione sequenziale.

Ereditarietà Partizionamento