Физик в гостях у политика - [20]

Luigi — самый легкий проект из всех (20M). Его разрабатывали в отличие от остальных проектов с жесткими лимитами по ресурсам. Цикл разработки сделали очень коротким. Взяли в качестве языка разработки — питон чтобы можно было быстрее и легче писать коды. Было сделано несколько подходов к разработке — сначала пытались писать на питоне интерфейс с задачами… в конце остановились на модели — они пишут библиотеку на питоне которой можно пользоваться для описания задач (работа со спарком, перезапуск)… а потом управляющая программа показывает созданные задачи в вебе и запускает их.

Из плюсов — легкость написания задач, но к сожалению не был реализован DAG (графы) — в результате строить зависимости между задачами было не просто.

Так как были использованы итерации — удалось используя в 10 раз меньшие ресурсы чем конкуренты построить более удобную библиотеку. Ключ к успеху — быстрый цикл разработки с анализом что хорошо что плохо — создание следующей модели. Цикл быстрый, все не специфичные сервисы пытаются взять готовые, чтобы не тратить на них время.

Остальные команды не были ограничены ресурсами — на стадии разработки тратили слишком большое время на продумывание тяжелого дизайна, потом долго строили. Оказывались в ситуации когда проектировали — было не ясно как удобно будет пользоваться продуктом. Когда продукт доводили до конца — было слишком дорого от него отказываться, менять и улучшать. Результаты получились сомнительные.

Ну и лучшим решением на сегодняшний день можно считать Airflow — они взяли лучшее от Luigi — питоновоская библиотека, взяли DAG от Oozie, улучшили недостатки интерфейса и превзошли в результате всех конкурентов.

Это пример очередной итерации с целью исправления проблемных мест других решений и объединения сильных сторон других решений. Чем сложнее задача, чем хуже наше понимание конечного результата — тем больше итераций требуется сделать чтобы построить оптимальное решение.

Другой пример итерационного подхода — решение проблем рек в Германии. В стране много рек, они часто меняют русло в результате большие территории оказываются исключены из сельского хозяйства. Решили исправить ситуацию — забрать все речки в деревянные срубы. Забрали в прямые желоба — это привело к тому что вода стала очень быстро уходить с полей — возникли проблемы с поливом, с пресной водой. Осознали проблему — переделали проект — стали делать деревянное русло рек не прямое, а с большим количеством изгибов — чтобы вода текла по квадрату — прямо, право, прямо, лево. Это решило проблему с быстрым уходом воды.

На этом примере видно что очевидное решение очевидной проблемы далеко не всегда дает ожидаемый положительный результат. В случае с прямыми реками результат был настолько очевиден — что замолчать, проигнорировать проблему было просто невозможно. В результате решение проблемы было быстро исправлено.

В политике к сожалению так дела делаются далеко не всегда. Сплошь и рядом берутся достаточно случайные решения задачи. Потом бездумно применяют. Не смотрят за результатом, продолжают их использовать. Сказать что правительство сделало ошибку — невозможно. Признание ошибки правительством зачастую приводит к громким политическим скандалам и отставкам. Поэтому правительство поставлено в ситуацию когда оно не может признать ошибку, борется всеми средствами чтобы отстоять свою правоту. Это получается контрпродуктивно. Так не должно быть. Все должны понимать что новые законы, новые инициативы — это сложный непроверенный шаг который может дать неожиданные результаты. Ошибки правительства — это не повод к скандалам и увольнениям. Это нормально. Повод для скандала и увольнения — это не желание видеть и исправлять ошибки. Не желание следить за результатом работы предложенных законов, проектов и не желание ошибочные законы исправлять.

В правительстве должны быть службы которые отслеживают работу законов, решений, докладывают о проблемах правительству и добиваются их исправления. Озвучивают происходящие события в прессе. Занимаются долговременным мониторингом, делают отчеты об успехах и проблемах.

Но эта система к сожалению сейчас в правительстве не работает. Для примера — в СФ на борьбу с бездомными было потрачено за 20 лет более триллиона долларов с близким к нулевому результату. За это время подходы так и не поменялись. Несмотря на многочисленную критику в прессе — правительство так и продолжает тупо отбирать деньги у бизнеса и передавать их бездомным. Это говорит о системных проблемах в правительстве Калифорнии которые требуют исправления.

* * *

Не так давно узнал о другой вечной проблеме в США. Проблеме Нью Йорка. Красивый, богатый город, с огромным количеством банковских работников, решающих судьбу мира, постоянно сваливается в пучину криминала и беззакония. По улицам начинают носиться безбашенные отморозки, жгут и грабят все вокруг. Граффити, мусор, бомжи. Временами полиция просто боится выходить на улицы этого чудесного города. И делает рекомендации приезжим — где и когда можно ходить.

Этот контраст удивляет, не вписывается в представление о нормальном мире. Обычно когда квартал дешевеет, в квартале богатых начинает селиться все больше маргиналов — богатые просто уезжают в другой квартал. Есть другой вариант — квартал стал дорогой, с дорогой жизнью. Постепенно маргиналы начинают покидать это место, селятся богатые. Естественные процессы приводящие к значительной сегрегации разных городов и кварталов в США. В соседних городах могут жить очень разные люди, не смешиваясь друг с другом. Почему же этого не происходит в Нью Йорке, почему там очень много представителей маргинального мира и мира роскоши.