clojure-norway

mokr 2025-08-11T05:38:23.477229Z

Morn!

boosja 2025-08-11T05:49:57.836939Z

God morgen!

gunnar 2025-08-11T05:56:02.057599Z

Morn!

teodorlu 2025-08-11T07:19:28.300989Z

God morn :)

oλv 2025-08-11T07:19:33.366359Z

Mornings!

msolli 2025-08-11T07:37:42.272109Z

Morn!

slipset 2025-08-11T07:48:57.630499Z

mr

oms 2025-08-11T08:49:02.845349Z

Morn!

Zeniten 2025-08-11T08:58:18.696069Z

o/

Ivar Refsdal 2025-08-11T11:51:17.257639Z

https://ivarref.github.io/posts/databasek%C3%B8ar-batching-og-1400-gb-xml/ ^^ eg har skrive eit blogginnlegg om nokon er interessert. </shameless plug>

😄 3
Ivar Refsdal 2025-08-12T12:08:49.091129Z

Tusen takk for alle hyggjelege kommentarar! @magnars Ja, eg var òg i tvil om eg friviljug skulle seia ja til dette prosjektet. Ein annan hadde snike seg unna. Til sjuande og sist vart det kjekt. @gar Takk! Ja, fleire månadar, då veit ein at noko (eventuelt svært mykje) er galt. @msolli FUSL FTW 😁 @odinodin Takk, eg har fått overraskande mykje positiv tilbakemelding på databasediktet! @teodorlu Takk, takk. Ja, kjapp feedback loop er viktig. Og så er det òg viktig å køyra mest/størst mogleg test ofte. Der feila eg litt. @hypirion Takk. Ja, eg kjenner til det. Eg brukte

INSERT INTO table (a, b) SELECT a, b FROM temp_tabell WHERE batch_key = ... ON CONFLICT DO NOTHING
og så i neste kø sletta den WHERE batch_key =... Blogginnlegget er basert på ein presentasjon eg haldt på ~30 minutt, så då kom det ikkje med korkje der eller her.

👏 2
❤️ 1
2025-08-11T11:57:32.243729Z

Etter å ha lest ingressen så vet jeg ikke om jeg tør. 🙈 😅

gunnar 2025-08-11T11:59:35.030229Z

Det blir ikke bedre i neste linje: > Koden, som skulle gjera ein import av XML-en, hadde ei køyretid på fleire månadar. Ai, karamba!

😂 4
msolli 2025-08-11T12:02:30.883539Z

Spennende og interessant! FOR UPDATE SKIP LOCKED er så nyttig!

odinodin 2025-08-11T12:27:58.750379Z

digger nynorsk-diktet du avslutta med 😂

odinodin 2025-08-11T12:28:20.406349Z

at vekes- og sletteimporten skal køyra før jol 😂

1
😁 1
😂 2
gunnar 2025-08-11T12:32:59.659239Z

Veldig interessant lesning, og med god humor som gjør den tørre materien morsom 🙂 Tar med meg mye ny kunnskap fra anlyseringen av kjøretid på serveren!

teodorlu 2025-08-11T13:03:31.092889Z

Trivelig og spennende lesing! Speedup fra måneder til én dag har utrolig mye å si. Det er lett å si at ytelse ikke er så viktig — men når du jobber som tar mer enn noen minutter, er det veldig lett å se hvor mye raskere, lettere, bedre det ville vært hvis ting ble ferdig raskere.

hypirion 2025-08-11T14:15:00.652989Z

> Ei ulempe med COPY-protokollen er at den ikkje støttar konflikthandsaming > Dette vet du sikkert, men jeg pleide å dumpe ting inn i en midlertidig tabell, for deretter kjøre update ... select from tmp_table for å håndtere duplikater etc i postgres. Men jeg hadde også flere andre systemer som dumpa inn data, så jeg kunne ikke gjøre det inne i programmet. Sikkert lettere å gjøre det der.