кстати да, @misha есть ли история почему для map так вышло, была например memfn, депрекейтнули..

Еще вариант - @parens-control

народ, а с каким storage driver'ом вы запускаете docker? devicemapper, что по умолчанию у докера для RHEL/CENTOS, не рекомендуется. Судя по описанию zfs самый рекомендуемый. А как его готовите вы?

@razum2um потому что map на скобках написан, а . и .. - на джаве. ну и джава методы не IFn вроде но это очень неполный ответ

https://twitter.com/ParensC

чуваки пишут, что "как методы могут быть first class в кложе, если они не фёст класс даже в джаве?"

в memfn нельзя было тайпхинты просовывать, поэтому #() лучше в этом смысле

Ребята давайте зафоловим и распространим наш новый групповой аккаунт - эту неделю его будет вести Миша!

(не я)

мип-мип. а на чём можно подключаться к постгресу, и как модно делать самые примитивные миграции? у меня тут новый пустой лайн-проект)

@leov например https://github.com/juxt/joplin

а пул соединений к постгресу и орм?

спасибо, кстати

@leov - отсюда можешь повыдергивать - https://github.com/niquola/clj-pg

о, ништяк

маунт лайт ❤️

скоро выпилим - ему там не место 😞

ну я не знаю, я просто никогда на кложе к скл не подключался. к редису только

ща вот буду пробовать

уже немного пугаюсь слов ждбц и прочего

например количества библиотек)

тогда наверное стоит с базовых вещей начать, db-spec + jdbc и поделать запросы строками, потом навернуть уже каконить пул (hikaricp, c3po и т.д), а потом выбрать dsl для написания sql (honey, hug и т.д)

посоветуйте за архитектурку. нужно реализовать семейство web-скрейперов. в ООП я бы реализовал это примерно так: https://gist.github.com/be9/afec3f30ac6496b4aa3a845116da7ceb а как это грамотно сделать в Clojure?

на протоколах можешь почти 1в1 так же написать

т.е. скрейпер - это некий набор “методов“, каждый из которых выдирает из сайта свои данные. не все скрейперы поддерживают все методы. и есть состояние, т.е. куки должны обновляться по мере вызова

https://clojuredocs.org/clojure.core/defprotocol

а state как мейнтейнить? просто возвращать из методов?

я б завел один атом для всего, а все остальное сделал бы стейтлесс

атом типа аргументом передавать?

и еще бы анально огородил весь IO и передавал httpFetcher бы тоже параметром (который бы в себе уже юзал куки/сессии), при таком подходе покрыть все тестами бы было вааще просто (а со скраперами охота чтоб тесты были, ломается ж от чиха всегда все).

там логику HTTP запросов сложно вынести отдельно

ага - в иделе скраперы круто было бы сделать чистыми функциями, берут на вход транспорт, делают чота, возвращают новые данные + новую сессию. Внешний манагер уже кладет в атом и все делает

Ну ага, это во мне хаскелист проснулся наверно 🙂

дык сессия внутри транспорта

ну ага. На каждую итерацию берешь значение стейта из атома, создаешь транспорт с этим стейтом (cookieJar все дела) и передаешь скраперу

а транспорт - это будет замыкание? ну типа

(defn make-transport [session]
  (fn [url params]
    ; что-то мутим с url, params и session
  ))

@leov я тоже использую joplin. Мне удобно, плюс он умеем миграцию в кучу разных баз делать

спс. я ща это всё буду честно копировать, из того репозитория выше, у @nicola .

@be9 дада, замыкание - poor man object 🙂

ну миграции в clj-pg я не нашел

т.е. по сути 2 стиля - ооп где у каждого скрапепа свой внутренний стейт (может неявный в виде мутирующего транспорта, куки опять же) либо один явный где-то повыше (манагер скраперов какой). Я бы выбрал второе ибо когда пойдут запросы один скрапер вернул что сайт упал, надо остановить все скраперы или логику что только 1 скрапер может дергать один ресурс одновременно и пр. то при втором подходе такое можно будет сделать легко

но я хз, если у тебя там лабораторная работа или в продакшене нужно быть уже вчера то нафег надо конечно 🙂

а, и обязательно скрапь все регэкспами - DOM/XPath/CSS selectors для хипстеров

хехе, у меня не лаба. для скрапинга есть опыт с hickory, ничё так

А ну значит уже в курсе 🙂

ещё вопросик: как подтащить в такой архитектуре connection-pool? его в манагере что ли создавать? https://github.com/dakrone/clj-http#persistent-connections

дак ага, как раз такое и делать там. А как бы это сделал в ОПП стиле?

у каждого скрапера свой бы пул был?

> там логику HTTP запросов сложно вынести отдельно например какую?

ну даже теже сессионные куки. Проще по дефолту отдать это трансапорту чтоб он сам внутри все мутировал и дергал. А руками уже доп работа

ну это ж контекст, который нужно проталкивать с каждым последующим запросом той же цепочки

тут, наверное, подходы идентичные подходам написания компонентов для юая: "локальный стейт компонента хранить в компоненте, в родительском компоненте или в глобальном атоме?"

а нажатия на кнопочки, меняющие стейт компонента - это аналог запроса, который потом стейт куки мутирует

ну дада, явный контекст пизже конечно 🙂

все плюсы и минусы тупо те же: "шумный функциональный код" против "лаконичного хер отдебажишь кода"

инструменты, вроде бы, тоже те же: колбеки, кор-асинк, стейт-машины

только переход между состояниями - респонс вместо он-клика

еще конечно тестирование первого просто сказка. У меня счас проект хоть и на TS но IO везде транспортом\параметром передается, test coverage под 100% и всякие сложный кейсы покрываются на ура. Не говоря уж про отсетсвие багов связанных с этим

> у каждого скрапера свой бы пул был? ну да, они независимы друг от друга

странно, я б один общий делал

в данном случае это некритично

> только переход между состояниями - респонс вместо он-клика скрейперы можно писать синхронным образом

so 1990

@artemyarulin а как бы ты делал?

ну ессно асинхронно все

один сайт отвечает 10 сек, чо теперь ждать чтоль

каждый метод в скрейпере запрашивает одну страницу, что-нибудь там шаманит, потом запрашивает вторую и т.д. пока не угомонится

на вложенных коллбеках а ля node.js?

аа, ты про это ок

я думал прям тред блокируем, ждем все дела)

да я бы и блокировал по простоте душевной 🙂

clj-http.client предлагает коллбэки https://github.com/dakrone/clj-http#async-http-request

5 вложенных коллбеков, по-моему, чуть более плохо, чем полностью

так корасинк, чтобы оно плоским стало

вообще я б очередь тасок замутил, а может и не одну

да, сетуют, что корасинк дебажить тяжело.

> очередь тасок замутил, а может и не одну очередь тасок там будет сверху

а если превратить скрейпинг в чистый код, с единственным ио - запросом - можно тупо в очередь в атоме писать

> а если превратить скрейпинг в чистый код, не очень понимаю, как это сделать. методы устроены примерно так: 1. запросить страницу A 2. выдрать данные и запросить страницу B 3. и т.д. каждый следующий шаг зависит от предыдущего

всякие http://asp.net и джавовские бекенды сайтов, которые мне нужно скрейпить, любят сабмитить кучу форм, всякие редиректы там, псевдо-редиректы (где страница состоит из одной формы, которая тут же постится в window.onload)

т.е. несчастный логин на сайт может включать в себя 5 последовательных запросов

такое очень просто написать синхронно, и не очень понятно, как сделать это асинхронно

ну как ты будешь с этим справляться по-умолчанию?

всякие фоллоу-редиректс обрабатываются самим clj-http? или ты руками будешь вот это вот всё?

руками

если за тебя это делается, то у тебя остаются 2 типа функций: - из страницы выпарсить инфу в базу и форму для сабмита - по форме для сабмита получить следующую страницу

если руками, то, впринципе то же самое, только вместо 1 реквеста шага - 5, что бы все редиректы обойти

типа в очередь кладешь таск {:url ... :cookies {...} :formdata {...}}, воркер берет таск из очереди, получает страницу, на основе которой кладет в очередь еще N подобных тасков

(а во вторую очередь, например, чо там выпарсил со страницы чтоб в базу положить)

суешь очередь в канал, на него трансдюсер, который запросы отправляет, и на конж выступать с докладом едешь

https://gist.github.com/JacobNinja/5c98496a632e1a466cbf

еще слышал, как чуваки пьедестал исключительно для пайплайнов на интерсепторах использовали: http://pedestal.io/reference/interceptors

в принципе - то же самое +-

вместо одной синхронной функции в 50-70 строк получается черт знает что

какие-то воркеры, таски итп

микрокусочки кода в разных местах

у тебя строк 50 займет только по редиректам всем пройтись наверное.

без монады не разобраться

у меня просто уже есть реализация простецкая. я зашёл сюда узнать, как можно сделать лучше. и понеслась..

ну всё же зависит от определения "лучше"

если 100 строк лапши делают всё, что тебе надо, то и нечего улучшать-то

У меня сейчас синхронная лапша, интересно как сделать асинхронно без регистрации и СМС :)

Ну а если все сложно, буду гонять синхронщину в отдельных тредах, да и всё

всё как раз simple ::kappa: очереди - отдельно, воркеры - отдельно

если я пишу под ноду, то есть ли способ не городить колбеков вокруг, например, fs.readFile(...)?

а выпрямить этот дело как-нибудь по типу ->

корасинк

http://funcool.github.io/cats/latest/#either

В ноде есть fs.readFileSync

А ещё с недавних времен там есть await, который все промисы выпрямляет

Одна беда: жабоскрипт остаётся сам собой и аромат жженого синтаксического сахара никуда не девается..

согласен с @misha - если задача на раз/два то пофег. А если Ынтырпрайз то retry logic, редикерты, очереди, ошибки, логи и прочая. Воркеры и очереди просто проще будет изменять и реализовывать все эти фичи

я уж не говорю про блокировку тредов - с ними у тебя реквестов 5 в секунду в среднем будет от силы

но ок не 5 конечно по “маловато будет“(с)

а если взять RabbitMQ или в каффку складывать например все, да все на амазоне поднять с автоскейлингом то уууу :))

Всю эту хрень с очередями сложно отлаживать, а задачи захватить Землю нет.

Интересует не пропускная способность, а простота и красота решения, вот

Про протоколы я вкурил, спс

а простота - это симплота или изота в этом случае?

Этим distinction не владею. Простота — это адекватность технических средств решаемой задаче. Тяжесть "лечения" не должна превышать тяжесть "заболевания".

господа, как такое кошернее (билдином каким-то, без рекура самописного) записать?

((fn [x f times]
  (loop [n times r x]
    (if (zero? n)
      r
      (recur (dec n) (f r)))))
 10 inc 5)
=> 15

@be9 не смотрел https://www.infoq.com/presentations/Simple-Made-Easy что ли?

@misha (reduce inc 10 (range 5))

Wrong number of args (2) passed to: core/inc

вообще, идея такое завернуть в функцию/макрос, принимающую x, f, и кол-во вызовов f

(-> x f f f f f)

есть repeatedly, но она для zero-args side-effect fns