Пилим? Пилим!

vtvitus> Пример, есть такой продукт документум и у него есть проблемы с утечкой памяти под unix. Есть очень большая немецкая издательская компания у которой этот документум работает. И им было проще было нанять администраторов, чтоб они перегружали этот документум, когда память утекала полностью и жить так несколько лет (т.е. когда система перестает обрабатывать документы админ получае алерт и перегружает демон), чем поднять вопрос об исправлении этой проблемы.

Я был таким администратором на прошлом месте работы. Программеры головного банка написали на Borland Delphi диспетчер для нашей системы "Клиент-Банк". Серваки, где он крутился, имели все филиалы банка. У диспетчера текла память. Требовался перезапуск после крэша (который был раз в неделю) или профилактический. Разработчики на проблему забили: по всей видимости уволился автор, а нет автора - нет поддержки. Исходники админу филиала никто, естественно, не дал бы.
Мне это всё надоело и я написал софтину, которая запускает диспетчер, логинится, выбирает в меню нужный пункт и стартует его (всё через генерацию оконных сообщений кнопкам, полям ввода и.т.д.). Потом перезапускает через некоторое время. Стало намного легче.

M.Gotovchitz> А вот наши допроектировались:
То ли допроектировались (не кисло бы) то ли правда то, что в конце статьи написано:

в Интернете – все больше высказываний такого типа: «Очевидно, что все это никакого отношения к правосудию, справедливости и т. п. не имеет. Подковерная борьба, межклановые разборки, а нам рекомендуют, развесив уши, сказочки о борьбе с коррупцией слушать».

 

Потому как вороватых губернаторов до фига, а берутся всерьез за единичных...

Mishka> Помним, что я сказал про огромность системы? Это тот случай, когда надо либо всё остановить, а потом запустить, либо при разработке системы был сделан специальный протокол синхронизации.
Mishka> Но что товарищ не учитывает совсем — а что делать с теми данными, которые уже внесены туда с кодом 888? Эти записи надо тоже обработать (поставить 990), как и связанные с ними. Т.е. простым изменением тут и не пахнет. И как отличить эти данные от тех, которые уже новые, но с кодом 888? Учитывая при этом, что ежедневно в систему поступают многие миллионы записей данных. Вроде бы, наилучшим способом будет останов системы, замена кода, обработка уже существующих данных, обработка того, что в очереди, запуск системы. Но такой вариант значит, что система будет down на значительный период. Т.е. кучав данных будет ждать в очереди. Всё остальное отложится на неопределённый период. А, если вдруг ошибку нашли? Как откатить систему назад? Можно себе представить бэкап и восстановление такой системы.
Мне кажется, тут ты несколько преувеличиваешь невозможность или как это еще обозвать.
Система, в которой я работаю, точно также отличается внесением параллельно кучи данных, завязкой на прочие системы, т.д. Но у нас применяется достаточно простое решение для обновления или даже смены архитектуры - Создается новая система, отлаживается, запускается тестово, некоторое время так крутится, потом в зависимости от степени новизны и технических рисков от смены - или в некий момент (обычно ночью, когда новые данные по понятным причинам не поступают) просто подменяются адреса сервов,
Или некоторое время параллельно в обе идут потоки данных, причем вторая только оценивается на предмет ошибок, потом один из филиалов переводится на новую, следят за потоком неизбежных багов там, после некоторого периода (от пары дней до пары месяцев - зависит от масштаба изменений) - переводят и остальные отделы на новую систему. При этом данные в старую еще некоторое время продолжают параллельно поступать на случай полного крэша новой (что при мне случалось уже и временный возврат на старую систему происходил методом переназначения обрабатывающего запросы сервера в клиентских приложениях.)

(зы формулировки не пинай, профильного образования никогда не имел )) Я ваще летун, а не прогер ))

alex_ii> Потому как вороватых губернаторов до фига, а берутся всерьез за единичных...
А если взяться за не-единичных, высказываний типа "кроваваягебня зверствует, второй 37-й творит" в интернетах не возникнет?

alex_ii>> Потому как вороватых губернаторов до фига, а берутся всерьез за единичных...
DarkDragon> А если взяться за не-единичных, высказываний типа "кроваваягебня зверствует, второй 37-й творит" в интернетах не возникнет?
А за каким х*ром тогда вообще ликвидировали выборность губернаторов? Помнится именно под этим соусом, не? Теперь их назначает президент, с подачи местных законодателей и имеет право снять. Однако все равно ворья хватает. Что так?

alex_ii> А за каким х*ром тогда вообще ликвидировали выборность губернаторов? Помнится именно под этим соусом, не?... Что так?

Не для того их делали назначаемыми.

alex_ii> А за каким х*ром тогда вообще ликвидировали выборность губернаторов? Помнится именно под этим соусом, не?
а всё равно попробуй массово - начнут право-на-лево-заshitнички про 37й год кричать.
И ведь уже иногда начинают, стоит какого-нить урку посадить..

Bredonosec> И ведь уже иногда начинают, стоит какого-нить урку посадить..

И когда их последний раз слушали?

Bredonosec>> И ведь уже иногда начинают, стоит какого-нить урку посадить..
anybody> И когда их последний раз слушали?
Ну, это смотря кого урками считать... Крупных чиновников (уровня губеров и сенаторов) у нас когда последний раз сажали? Кого-то из сенаторов, не? И кто кричал про 37й год?

alex_ii> Крупных чиновников...

Поначалу прочёл: "Крупных уголовников..." Прям по Фрейду.

anybody> Поначалу прочёл: "Крупных уголовников..."
Ну так разница нынче не так и велика... Не буду утверждать, что ВСЕ, глупо это - но многие свое служебное положение воспринимают как кормушку...

anybody> И когда их последний раз слушали?
ну.. я и не слушал.. Но по правилам "демократии" им любят вторить всякие лордджадды и прочие.

Bredonosec> Но по правилам "демократии" им любят вторить всякие лордджадды и прочие.

И кто их последний раз слушал?

alex_ii> Ну, это смотря кого урками считать...
преступников. Независимо от их капитала. Того же мавроди, или ходора или властелину, или..

>Крупных чиновников (уровня губеров и сенаторов) у нас когда последний раз сажали? Кого-то из сенаторов, не? И кто кричал про 37й год?
погуглил -




и даже такое нашел )))

СПб. Все нормативно-правовые акты, выпущенные администрацией губернатора с 2003 г., подлежат отмене. Такое решение вынес Уставный суд СПб.

А само это ведомство, возглавляемое вице-губернатором Виктором Лобко (461555)*, в ходе рассмотрения дела было признано "несуществующим". Уставный суд (УС) (89834)* пришел к выводу, что 2 года назад эта структура создавалась с нарушением законодательства и, следовательно, не могла наделяться какими-либо полномочиями. "Естественно, что от имени этого несуществующего органа государственной власти не могло и не может совершаться каких-либо юридически значимых действий, в том числе и приниматься акты нормативного характера", - говорится в определении суда. Как сообщила пресс-секретарь губернатора Наталья Кутобаева (995852)*, документы из УС до сих пор не поступили в Смольный, поэтому у юристов не было возможности ознакомиться с ними и выработать позицию по дальнейшим действиям".


а вот про губернаторов, из-за которых собсно и ввели выборность, - не вижу факта посадок в гугле..

anybody> И кто их последний раз слушал?
Вот Костя видимо и слушал - в его краях оне доступнее...

alex_ii> Вот Костя видимо и слушал - в его краях оне доступнее...
Алекс, если б я слушал и ел то говно, что тут с экранов льются, то небезызвестный давинчи показался бы фанатичным русофилом по сравнению со мной ))))

alex_ii> Ну так разница нынче не так и велика...

Задорнов про Медведева,Лужкова,Собянина и Путина - YouTube 07:20--08:32

Bredonosec> Мне кажется, тут ты несколько преувеличиваешь невозможность или как это еще обозвать.

Отнюдь. Мы говорим о системе не в 10 серверов. А так примерно в несколько тысяч и до десятков тысяч, ещё добавь мэйнфрэймы, кучу другого.

Bredonosec> Система, в которой я работаю, точно также отличается внесением параллельно кучи данных, завязкой на прочие системы, т.д. Но у нас применяется достаточно простое решение для обновления или даже смены архитектуры - Создается новая система, отлаживается, запускается тестово, некоторое время так крутится, потом в зависимости от степени новизны и технических рисков от смены - или в некий момент (обычно ночью, когда новые данные по понятным причинам не поступают) просто подменяются адреса сервов,


Ага, у твоей конторы есть возможность сделать другую систему за несколько ярдов уе? Я в первой конторе был, так у нас просто конфигурация базовая стоила несколько десятков лимонов. А в конторе было всего 68 человек на тот момент.

Ну и ты не ответил на вопрос — а что делать с уже введёнными данными? Учти, что на основе этого SSN платяться пенсии, взимаются налоги, даются бенефиты, оплачиваются рецепты, оплачиваются счета больницам и госпиталям. И много всякой другой муры. И просто подменить не получится, т.к. постоянно кто-то где-то есть активен, значит ты порвёшь транзакции.

Bredonosec> Или некоторое время параллельно в обе идут потоки данных, причем вторая только оценивается на предмет ошибок, потом один из филиалов переводится на новую, следят за потоком неизбежных багов там, после некоторого периода (от пары дней до пары месяцев - зависит от масштаба изменений) - переводят и остальные отделы на новую систему. При этом данные в старую еще некоторое время продолжают параллельно поступать на случай полного крэша новой (что при мне случалось уже и временный возврат на старую систему происходил методом переназначения обрабатывающего запросы сервера в клиентских приложениях.)

А в какой системе происходит анализ данных? И как эти данные синхронизуются (если системы принимают решение немного по разному)? Ну и записей у вас в параллель немного меньше, чем число рождающихся и умирающих в день в США, я думаю.

Пофилиальный перевод — совсем труба. Или надо весь персонал заставить дважды вводить. Или разработать программки, которые это будут делать. Последнее, как ты понимаешь, это ещё одна нехилая задачка. Т.к. надо отрабатывать весь функционал в режиме зеркалирования. Ввести, проверить, записать, отредактировать, искать, удалить, etc.

Я вот пока в банке работал, немного этим занимался. Так перевод на новую систему только что купленного банка занял три года. И это считается быстро. Я собственно, поучаствовал на заключительных 3-х месяцах. И то, ручной работы у народа было дофига. Бывали и такие случаи, что два подразделения разработчиков не могли между собой нормально общаться через программный интерфейс, так нам пришлось писать приблуду, которая разговаривала с CISC Cobol, оттуда запихивалось в MQ, потом наш web service толковал через мессаджинг с MQ, а потом, превращал это в реальный web service, через который другая команда и получала/передавала данные.

А ещё систему бэкапов надо мало-мало править, чтобы знала, что и как восстанавливать в какой момент.


Т.е. в точности то, что и говорил, что товарищ просто не представляет, что это такое.

Mishka> Отнюдь. Мы говорим о системе не в 10 серверов. А так примерно в несколько тысяч и до десятков тысяч, ещё добавь мэйнфрэймы, кучу другого.
выход есть всегда
При конкретных вводных наверно можно и вариант прикинуть )

Mishka> Ага, у твоей конторы есть возможность сделать другую систему за несколько ярдов уе?
Сейчас в принципе сильно увлеклись виртуализацией.. Грубо говоря, выгоднее и надежнее на одной машине поднять с полсотни виртуальных с одним сервисом на каждой, нежели иметь по нескольку сервисов на одной машине и терять их скопом при зависе одного.
То есть, "сделать другую систему" в данном случае скорее означает перераспределение мощностей имеющейся физически железяки под иное число виртуальных.

Mishka> Ну и ты не ответил на вопрос — а что делать с уже введёнными данными? Учти, что на основе этого SSN платяться пенсии, взимаются налоги, даются бенефиты, оплачиваются рецепты, оплачиваются счета больницам и госпиталям. И много всякой другой муры. И просто подменить не получится, т.к. постоянно кто-то где-то есть активен, значит ты порвёшь транзакции.
Тогда выбор времени - скажем, с субботы на вскр ночь, о которой сообщается заранее, и в течение неск часов предупреждают, что такие-то сервисы будут в дауне.Я это несколько раз видел в собесе, в паре крупнейших банков страны (приходили рассылки), т.д.

Mishka> А в какой системе происходит анализ данных?
как понимаю, сначала в старой, (а в новой смотрят на отсутствие ошибок), после переключают и уже новая как основная, а старая - контроль..

>И как эти данные синхронизуются (если системы принимают решение немного по разному)?
не знаю, гадать не хочу
>Ну и записей у вас в параллель немного меньше, чем число рождающихся и умирающих в день в США, я думаю.
кто б спорил )) У нас и ресурсов меньше..
Напр, за поддержку одного крупного пакета, являющегося основным в работе, долгое время отвечал один человек на всю страну. Сейчас вроде помощников есть..

Mishka> Пофилиальный перевод — совсем труба. Или надо весь персонал заставить дважды вводить.
а зачем дважды? каждый филиал отвечает за своих клиентов, - смысл дважды?

Mishka> А ещё систему бэкапов надо мало-мало править, чтобы знала, что и как восстанавливать в какой момент.
система бЫкапов в течение крайних пары недель - больной вопрос у меня.. (((
лучше не спрашивать, могу ответить матом (((

Bredonosec> Сейчас в принципе сильно увлеклись виртуализацией..
Именно что увлеклись.
>Грубо говоря, выгоднее и надежнее на одной машине поднять с полсотни виртуальных с одним сервисом на каждой, нежели иметь по нескольку сервисов на одной машине и терять их скопом при зависе одного.
Ага, а потом потерять всю систему из-за пробежавшего таракана сдохшего оптического коммутатора.

Bredonosec> выход есть всегда
Флаг тебе в руки и барабан на шею.

Bredonosec> При конкретных вводных наверно можно и вариант прикинуть )

Прикинь, правда боюсь денег не хватит. Это из серии — пилот умер в полёте, но поведет сталевар.

Bredonosec> Сейчас в принципе сильно увлеклись виртуализацией.. Грубо говоря, выгоднее и надежнее на одной машине поднять с полсотни виртуальных с одним сервисом на каждой, нежели иметь по нескольку сервисов на одной машине и терять их скопом при зависе одного.

И что? Ты представляешь, как работает СУБД на виртуальной машине? И у тебя есть виртуальные машины для мэйнфреймов? А может есть для другого экзотического железа? Вообще-то на виртуалках надо поработать, прежде чем такие заявы делать. Я на 4-х виртаулках нашу систему минимальную с трудом каждыи день гоняю. И это при том, что у нас сервера серъёзные, вмваря самая продвинутая и основная система линь.

Bredonosec> То есть, "сделать другую систему" в данном случае скорее означает перераспределение мощностей имеющейся физически железяки под иное число виртуальных.

Не работает.

Bredonosec> Тогда выбор времени - скажем, с субботы на вскр ночь, о которой сообщается заранее, и в течение неск часов предупреждают, что такие-то сервисы будут в дауне.Я это несколько раз видел в собесе, в паре крупнейших банков страны (приходили рассылки), т.д.

В банках двойной ввод всегда. Ну и маштабы в США другие. Я вот в банке поработал, у которого клиентов больше, чем в Литве жителей. Так после покупки другого банка перевод их данных в систему банка, замена системы, обучение работников, перевод филиалов — почти 5 лет.

Bredonosec> как понимаю, сначала в старой, (а в новой смотрят на отсутствие ошибок), после переключают и уже новая как основная, а старая - контроль..
Дык, они же работают по разному. Там же кодировка номеров другая. Выделение номеров другое.
Данные в базе начинают расходитсы. Кто их будет опять сводить?
Bredonosec> не знаю, гадать не хочу

А как же ты предлагаешь решение, если такой важной вещи не решил?

Bredonosec> кто б спорил )) У нас и ресурсов меньше..
сложность системы растёт нелинейно. Как и затраты на неё.

Bredonosec> Напр, за поддержку одного крупного пакета, являющегося основным в работе, долгое время отвечал один человек на всю страну. Сейчас вроде помощников есть..

Здесь же не пакет. Здесь даже не просто миллионы строк кода, сотни миллионов.

Bredonosec> а зачем дважды? каждый филиал отвечает за своих клиентов, - смысл дважды?

Система централизованная. Человек получает сервисы независимо от места проживания. Нету филиалов, отвечающие за клиентов. Кстати, в американских банках тоже нет такого распределения. Вот по штатам есть, т.к. в штатах разные законодательства.

Mishka>> А ещё систему бэкапов надо мало-мало править, чтобы знала, что и как восстанавливать в какой момент.
Bredonosec> система бЫкапов в течение крайних пары недель - больной вопрос у меня.. (((
Bredonosec> лучше не спрашивать, могу ответить матом (((

Тут гораздо хуже — надо не просто настроить, а чтобы сохраняла-восстанавливала данные в нужной системе или полный дубль с поправленной частью.

alex_ii> Однако все равно ворья хватает. Что так?

Управляемые воры признаны меньшим злом чем сепаратисты.

Больше того, ЧЕСТНЫЙ губернатор, которого нельзя взять в любой момент за тестикулы, нежелателен.

Как от него быстро избавится? Без катастроф и дорожных аварий.