Morn!
God morgen!
Morn!
God morn :)
Mornings!
Morn!
mr
Morn!
o/
https://ivarref.github.io/posts/databasek%C3%B8ar-batching-og-1400-gb-xml/
^^ eg har skrive eit blogginnlegg om nokon er interessert.
</shameless plug>
Tusen takk for alle hyggjelege kommentarar! @magnars Ja, eg var òg i tvil om eg friviljug skulle seia ja til dette prosjektet. Ein annan hadde snike seg unna. Til sjuande og sist vart det kjekt. @gar Takk! Ja, fleire månadar, då veit ein at noko (eventuelt svært mykje) er galt. @msolli FUSL FTW 😁 @odinodin Takk, eg har fått overraskande mykje positiv tilbakemelding på databasediktet! @teodorlu Takk, takk. Ja, kjapp feedback loop er viktig. Og så er det òg viktig å køyra mest/størst mogleg test ofte. Der feila eg litt. @hypirion Takk. Ja, eg kjenner til det. Eg brukte
INSERT INTO table (a, b) SELECT a, b FROM temp_tabell WHERE batch_key = ... ON CONFLICT DO NOTHING
og så i neste kø sletta den WHERE batch_key =...
Blogginnlegget er basert på ein presentasjon eg haldt på ~30 minutt, så då kom det ikkje med korkje der eller her.Etter å ha lest ingressen så vet jeg ikke om jeg tør. 🙈 😅
Det blir ikke bedre i neste linje: > Koden, som skulle gjera ein import av XML-en, hadde ei køyretid på fleire månadar. Ai, karamba!
Spennende og interessant! FOR UPDATE SKIP LOCKED er så nyttig!
digger nynorsk-diktet du avslutta med 😂
at vekes- og sletteimporten skal køyra før jol 😂
Veldig interessant lesning, og med god humor som gjør den tørre materien morsom 🙂 Tar med meg mye ny kunnskap fra anlyseringen av kjøretid på serveren!
Trivelig og spennende lesing! Speedup fra måneder til én dag har utrolig mye å si. Det er lett å si at ytelse ikke er så viktig — men når du jobber som tar mer enn noen minutter, er det veldig lett å se hvor mye raskere, lettere, bedre det ville vært hvis ting ble ferdig raskere.
> Ei ulempe med COPY-protokollen er at den ikkje støttar konflikthandsaming > Dette vet du sikkert, men jeg pleide å dumpe ting inn i en midlertidig tabell, for deretter kjøre update ... select from tmp_table for å håndtere duplikater etc i postgres. Men jeg hadde også flere andre systemer som dumpa inn data, så jeg kunne ikke gjøre det inne i programmet. Sikkert lettere å gjøre det der.