372k
3 года назад · 2 фото · 8145 просмотров · 77 комментариев
В Японии встали все заводы Toyota из-за закончившегося места на диске базы данных (2 фото)
В компании пообещали усовершенствовать техническое обслуживание серверов а айтишники пообещали сделать харакири.
Все 28 сборочных линий на 14 предприятиях автоконцерна Toyota Motor в Японии, на которые приходится около трети мирового производства этой марки машин, остановили работу из-за сбоя, который случился из-за недостатка памяти серверах.
"Во время проведения работ по сохранению данных проводились систематизация и уничтожение скопившихся в базе данных. Из-за того, что на диске, использовавшемся в работе, не хватило места, возник сбой, в результате которого система остановилась", - говорится в сообщении компании.
Инцидент произошёл 29 августа и в Toyota Motor не сразу разобрались в причине вынужденной остановки заводов, хотя представители автоконцерна сразу сообщили, что это никак не связано с кибератакой. Отмечается, что заводы возобновили работу спустя почти сутки — после переноса данных на сервер большего размера.
В связи с неприятным инцидентом руководство автоконцерна принесло извинения своим клиентам и пообещало пересмотреть свои процедуры технического обслуживания для недопущения подобных сбоев.
Добавим, что в марте 2022 года Toyota уже сталкивалась с вынужденным приостановлением работы заводов из-за хакерской атаки на системы поставщика запчастей Kojima Industries. Известно, что все японские заводы автоконцерна в среднем производят 13 тысяч автомобилей в день.
Метки: #Toyota Motor #Япония #заводы #приостановка работы #сбой #сервера
По ходу Punto Switcher поставили!
Базу, и сервер, на котором она крутится, можно положить двумя строчками кода. Чем больше база, тем проще это сделать. Молодые специалисты - это сила. Разгребал как-то последствия жизнедеятельности таких жертв ЕГЭ-гэ.
... ALTER DATABASE SET OFFLINE WITH ROLLBACK IMMEDIATE
?)
достаточно в селекте несколькомиллионные таблицы перемножить отсутствием where
И еще подгадить можно - хинт в секции (WITH OPTION) для оптимизатора подсунуть, который для многомиллионного датасета заставит сгенерировать план запроса с nested loops - физической операции джойна, вместо hash match)
И тогда п рощай ресурсы кластера и tempdb
Но это уже из серии как картинка ниже)
Конвейер с лада ларгус в прошлом году останавливали на 2 месяца и АвтоВАЗ выдержал, вот силище!!!!! Тойота из-за двух дней простоя чуть не сдохла...... лохи одним словом
Так ВАЗ бумажный журнал ведёт. Один закончился, другой начнут. А тут сервера какие-то…
Что то я не вижу упоминаний о том что Тойота чуть не сдохла.
:-)
Что должен делать админ с зарплатой 15 т.р. в месяц? - Немножечко вредить...
Ну я могу им свою флешку отправить если им надо. Как раз на 32 гига. Помогу чем смогу... Только пусть комп сначала перегрузят.
На эту дискету 1,4Мб влазило.....
Да, знаю, просто картинок других не нашел))
Уточню -- 1,44 Мб, а на некоторые -- даже 2,88 Мб.
Что за чёрт???
Была у меня одна подработка в 2000-х сисадмином в небольшой конторе на 20+ компов и пару серверов с контроллером домена. Года 3 работал и все было хорошо. Приезжал пару раз в месяц за ЗП и когда что-то совсем тяжёлое, все остальное делал удаленно. Все были довольны пока не сменилось руководство, посчитавшее что платить деньги за столь редкие визиты нецелесообразно. В общем ничего заранее не говоря мне в пятницу просто не дали зарплату и охране запретили меня пускать. А чтобы я ничего плохого не сделал - выдернули шнур из роутера. Со слов знакомых новое руководство позвали знакомого "сисадмина" сделать так, чтобы я не смог зайти удаленно.
В итоге сидели неделю без интернета т.к. оказалось что паролей ни на сервера ни на роутер у них нет, мозгов сбросить пароль тоже нет.
А потом пароль на домен всё-таки сбросили... Вместе с виндой и всеми документами, которые там были, после чего не придумали ничего лучшего, чем наехать на меня что это я им все "уронил". В общем не договорились мы с ними в итоге, чем все кончилось для них тогда - не знаю, а через пару лет от такого эффективного менеджмента контора закрылась.
Это не так. Я помню что я в 2000-ом уже уволился оттуда, а это история была гораздо раньше.
Не, в 96 у меня был MFM 20-ка, пару лет спустя был добавлен 40-ник.
в 97-м был на 16 у меня, а в 2000-е уже сотку представили
Ради интереса глянул - до 2000 года не было моделей больше 18-22 гигов. Ну тогда были-то только по сути Кавиары, Барракуды да Квантумы. Нашел только на 34Gb какие-то 2 уникальных IBM и кавиар. Потом-то в 2000-м - резко гигабайты полетели в небеса. Ну в общем хз, у меня тоже с памятью не очень.
Кстати прикольный сайт поностальгировать попался https://redhill.net.au/d/i.phphttps://redhill.net.au/d/i.php
За давностью лет запамятовал, не Гигабайт, а Мегабайт .)))
У нас такое тоже бывает... С утра тоже кончилось место.
А Intell Optane стоят, ска, по 350 тыщ за штуку..... А лучше бы два замутить...
Но решили естестно за час, мы ж не японцы.
Эффективные менеджеры:
Ясен пень, если всё и так работает, нахрена нужны эти бездари сисадмины? Половину уволить, другую - чем-нибудь загрузить.
*месяц спустя* как это производство встало? Почему? Кто виноват?
Им тоже Гугл обрезал размер облака до 15 Гб?
У гибридных дата-центров это немного не так работает, и бекапы в облака довольно дорого делать - обычно лучше *.BAK-файлы джобами на локальный сторадж складывать - там стоимость хранения - копеечная, по сравнению с облачным
друже, шучу я)) не будь таким серьезным))
)))
Как бывший DBA вангую - поломался какой-нить джоб, по типу "transaction log backup"
Или у сервисной учётки, из-под которой ранился джоб - протух пароль, и админы недоглядели и джоб, соответственно накрылся
Странно, конечно, что мониторинг и алярминг не отработал, в каком-нибудь SCOM-консоли такие события обычно критичного уровня, которые тут же отделом сопровождения должны отлавливаться
Ну, или сопровождение - это на откуп каким-нить индусам из Корпорации HCL или WIPRO отдали - те могут проворонить как два пальца об асфальт
"Kindly check and do the needful'ь" (С)
Ни хрена не понял, что вы сказали, но ставлю + так-как убедительно.
ахахах)))))
:applause: :applause: :applause:
В этой новости сосредоточен весь апофеоз достижений современных технологий. :applause: :applause: :applause:
))) ну технологии то и впрямь скакнули... просто с датабазами - там с 90х годов процессы и подходы не сильно меняются - такая стабильная технология...
Все равно всякие In-Memory Columnstore все в тупо файлы упирается)))
Толку от этого скачка, если всё производство зависит от места на диске.
Выруби инет, и весь мир просто встанет, потому что без него существовать просто разучился. Вот и вся суть ваших "скакнувших" технологий.
нуу.... это обсуждаемо всё...
да, слои абстракции и прикладных приложений и сервисов зашли так далеко, что обеспечивают очень много в нашей жизни и в жизни бизнес-заказчика, который является заказчиком эффектов, получаемых от этих технологий... но факта того, что всё это абстрактное и виртуальное держится на, условно, примитивном электрическом тумблере - это да, есть такое)
Ну если у них в таких мелочах проблемы, значит и в машинах могут быть приколы. Хочешь повернуть.. включаешь поворотник и бац! ошибка "Внимание! Поворотнику не хватает питания т.к включен кондиционер."
японское качество...
У Тэслы случай был, когда сдох сервак (находящийся где-то в джунглях Монголии), и счастливые владельцы элеткромобилей (на другом конце света) словили печальку- их электрокары превратились в кирпичи...ни запустить, ни с места тронутся.
Такая-же "печалька" может посетить и F-35, ибо он не запускается без разрешения Пентагона. Глюкнет пентагон, и ни один F-35 во всём мире не заведётся.......
Чет не понял.. тесла без интернета - кусок лома чтоль? или пофиксили они это?
И не только тесла.
Как-то выкладывали, как один перец, по договоренности с владельцем, может на спор, к фордовской эфке 14-й, кажется, серии подрубился и глушил-заводил, фары-поворотники включал, глумился, в общем, сидя дома на диване...
А произошло все это потому, что до этого все было с серверами хорошо и группу сисадмина урезали по максимуму.
по опыту - такие операционные вещи, как Data Center Operations - обычно аутсорсят на индусское стадо, наверняка и у Тойёты похожее
Там у людей уровень экспертизы зашкаливает - если нет инструкции по типу "возьмите мышку в правую руку, нажмите Пуск, выберите Сетевые Подключения..." (С) - могут и не разобраться
Вряд ли сисадмины, хотя кто его знает - какая там иерархия у этой Компании...
на УАЗе до сих пор не понимают в чем проблема
Последний раз я на винде через стандартные средства (лет 10 назад) пытался записать на двд, короче винда сделала ТРИ копии, какого ...., и в результате ушла в бесконечность. Так ничего и не удалось записать. Здесь, наверное, что то похожее произошло, многократное копирование при бекапе, я так думаю
Шо, все 2 гигабайта забили??
640 кБ хватит всем!
и ведь хватит, если нормально кодить
это про оперативку было, так что мимо.
Нет, не хватит. Про 640 шла речь, когда не думали что в работе ОС будет куча фоновых процессов, что игры будут идти в 4K+HDR, эту глупость давно ляпнул Билл и уже давно опровергнул и речь шла про ОЗУ.
на винчестерском накопителе
То есть метрики на таких важных серверах не настроены или не могли согласовать добавление пространства хранения пока не стало поздно?
Эти лошары про Zabbix не знают
или System Center =)
думаю, агенты то событие отловили, но просто автоматизация лоскутная - не связали со скриптом, который авто-фиксит проблему, или создает/эскалирует в нормальный инцидент на ITIL-портале... а чисто на человеческий откуп отдано, а люди такие сами знаем, как работать могут - в консоли Ctrl+A + DEL - и нет алёртов, и консоль пустая, красивая...
Работал я как-то в одной очень известной и сильно ентерпрайзной технологической компании... Вы не поверите, насколько там все забюрократизировано.... настолько, что от момента, когда вылез алерт, до момента, пока аппрувнут необходимые действия все причастные и непричестные руководители и службы... ну в общем вы поняли....
а особенно, если дело касается бизнес-баз данных, которые есть святая святых, безопасники там просто на ... исходят прежде чем аппрувнуть что либо вообще...
компания то отечественная?)
У меня, сходу, два предположения о названии организации, раз сильно технологическая и сильно известная... зелёная или синяя?)
А так - да, грустно, что даже в операционной деятельности 100500 аппрувов нада
Ну да, на то они и ИБшники, чтобы консистентность и непротиворечивость поддерживать... да еще если у сервиса RPO/RTO крайне злое
Нет, не отечественная. У всех на слуху была в конце 90-х до середины 2000-х, сейчас почти ушла с масс-маркета сектора, сейчас сосредоточилась на корпоративных решениях. Называть не буду - NDA
Ок, got it
А вот нифига. Их давно сократили т.к. все прекрасно работало и они были не нужны.
"Эффективные" менеджеры сократили ))
Они, "эффективные менеджеры", походу - беда всего мира. Вместо инноваций, что требуют денег, просто экономят, да ещё не там, где нужно.
Синдром "кухарки" - больше хлеба в мясной фарш.
ахахах)))))
я в 2016м по такому же принципу и попал)))
В международной большой корпорации мы 3м уровнем поддержки датацентров занимались... тучу всего офигенного сделали, наавтоматизировали, пайплайны всякие, на дотнете скрипты автоматизации процессов и ITIL-операций, скрпты развертывания всего и вся, всякие DWH/BI для мониторинга состояния инфры - всё сделали - и тип - даа, спасибо ребят - но теперь сопровождение очень простое, и расширим ка мы скоп работы индусов, которые там в штабквартире в Женеве полы драили... ну те и взяли на себя наш бывший скоп... и потом так как давай всё падать в датацентре и валяться)))