Fork me on GitHub
#clojure-russia
<
2016-11-29
>
mike_ananev04:11:03

привет всем. скажите, а в предел в 10 billions датомов кто-нибудь упирался уже? как решали вопрос?

rmuslimov05:11:13

кажется где-то был такой макрос (macro a b) => {:a a :b b} неподскажите?

misha06:11:59

@andre может тебе в твоём кросс-оконном квесте пригодится. https://github.com/gfredericks/webscale

andre06:11:25

спасибо уже решил квест

andre06:11:36

я просто рендерю теперь прям в другое окно

andre06:11:01

и не надо передавать туда ссылки

andre06:11:07

вся логика теперь в главном окне

misha06:11:32

@rmuslimov у @artemyarulin остался наверное

artemyarulin07:11:33

@rmuslimov неа, у меня не осталось, надо в хистори смотреть

artemyarulin08:11:50

про датомик https://danielcompton.net/2016/11/29/guide-to-datomic-licensing-changes

Maintenance and updates limited to 1 year. However, based on discussion on Hacker News, it seems that you can no longer renew your Datomic Starter license. This means that you will need to pay for Datomic Pro to get updates after one year. 

artemyarulin08:11:48

As was discussed in Datomic Slack:
"Starter was always intended as a path for customers to explore and use Datomic in a low-risk, low-cost approach as they developed their applications and moved toward production. We feel that a year is generally sufficient time to evaluate a product and develop a business application around that product. If you feel that you require a longer period to evaluate or develop against Datomic, please contact us.”

Kira Sotnikov08:11:34

ну эти вообще молодцы

prepor08:11:35

хм, странно как то довольно )

asolovyov18:11:00

@mike1452 в теории "разделяй на несколько баз", на практике - хз

asolovyov18:11:29

я недавно прикидывал и по подсчетам получается, что я б от лимита был бы недалеко, а у нас база всего 160 гигов

mike_ananev18:11:23

@asolovyov да, "разделяй на несколько баз" совет известный. мне интересно как на практике люди его реализуют в приложениях? С начала приложение работает с 1 базой, потом по мере роста данных с 2 базами и т.д. получается надо изначально в приложение закладывать возможность роста числа коннектов. По мере роста данных надо научить приложение делать запросы именно в ту базу, к какому периоду относятся данные в запросе. блин интересно бы заглянуть в консалтинговые материалы когнитекта.

misha18:11:41

@mike1452 скорее юзеров в одну базу, заказы всякие - в другую

mike_ananev18:11:36

@misha да юзеры особо и не растут. а данные, пусть заказы, они все время растут. тем более что в датомике на один "апдейт" 2 датома минимиум. то есть данных может быть немного, но при достаточно больших изменениях этих данных база будет расти.

mike_ananev18:11:14

и вопрос в том, что когда рано или поздно подойдет предел, что делать в приложении?

misha18:11:03

зависит от приложения kappa

turtle18:11:29

Всегда в базе есть несколько таблиц, которые растут. 🙂

turtle18:11:43

Шардить сразу их. 🙂

mike_ananev18:11:01

шардить это значит новый транзактор

mike_ananev18:11:12

и новый коннект

turtle19:11:22

Тебе коннектов что ли мало?

turtle19:11:30

Но, в целом, менее удобно, конечно.

turtle19:11:40

Так уж, от бедности. Чтобы 5к в год не платить.

mike_ananev19:11:13

коннектов не мало, как запросы делать? как узнать в какой коннект нужно отослать запрос, если коннектов 10?

misha19:11:30

тут не в 5к дело, это ограничение архитектуры, @turtle

misha19:11:08

@mike1452 смотря как поделил, и что за запрос. что за вопросы такие kappa ?

turtle19:11:16

Ну удобство текущей архитектуры, да.

misha19:11:03

наверное есть смысл делить по времени, типа в какой-то момент начинать писать в новую базу. тогда возможно неудобным станет только в хистори смотреть

misha19:11:59

но чтобы так делить, для начала надо бы наверное растущие "таблицы" отделить от остального, типа от тех же юзеров.

turtle19:11:02

Ну да, или поверх этого навесить какой-то свой велосипед.

turtle19:11:15

Но в датомике же по таймстампам прикол снапшоты.

turtle19:11:22

Тут придётся знатно поизголяться.

mike_ananev19:11:39

да тут временем одним не обойдешься. тут надо создателей просить пояснить как они с этим лимитом предлагают строить cloud ready приложения.

mike_ananev19:11:13

простой кейс: грузим базу юриков РФ (ЕГРЮЛ). Льем день. два. три. смотрим все время на транзактор. О. подошли к лимиту. Тормозим загрузку. ставим другой транзактор поверх кассандры. дальше льем юриков. короче залили мы все юр лица. и получили 3 разные базы с 3мя разными транзакторами. и время записи в базу тут ни разу рояля не играет. Вот хотим мы сделать запрос по ООО "Заход солнца вручную". В какую из баз делать запрос? Особенно если одно Юрлицо в одной базе, а связанное с ним в другой, и мы даже не знаем в какой.