<![CDATA[Artem Curious]]>https://blog.curiousity.oneRSS for NodeTue, 21 Apr 2026 06:22:04 GMT60<![CDATA[Аналіз глобального збою сервісів]]>https://blog.curiousity.one/analiz-globalnogo-zboyu-servisiv-1st-febhttps://blog.curiousity.one/analiz-globalnogo-zboyu-servisiv-1st-febSun, 04 Feb 2024 14:44:10 GMTУсі згадки часових міток вказано за UTC+2.

Починаючи з четверга, 1 лютого 2024 року, о 8:48 ранку, сервіси curioustudios почали повільно працювати, а невдовзі після цього сталися збої, що призвели до неможливості реагувати на будь-які запити. До цих сервісів належали бот Стицька, бот Ukraine Info, бот програми бета-тестування Ukraine Info, внутрішні бази даних, шлюзи сервісів штучного інтелекту та кілька сервісів, пов'язаних з моніторингом повітряних тривог в Україні.

Всі інші сервіси та боти, такі як бот Curiousity та аналітична база даних Стицька, працювали нормально, оскільки вони були розміщені на зовнішніх серверах.

Цей інцидент тривав з 1 лютого о 8:48 ранку до 9:43 ранку, коли всі сервіси повністю повернулися до нормальної роботи. Міграція бота програми бета-тестування Ukraine Info позначила кінець інциденту.

З чого все почалося

Інцидент почався з раптового падіння мережевого трафіку, і сервер перестав передавати будь-які дані на 5 хвилин (з 8:49 до 8:54 ранку). Щойно перед падінням мережевого трафіку, сервер почав фіксувати збільшення середнього навантаження:

О 8:49 ранку, відразу перед відключенням трафіку, сервер був завантажений на 100% ЦП.

Причина

На цьому знімку екрану, в кожній категорії (відсоток ЦП, обсяг читання I/O та Пам'ять (резидентна)) показано два кольори точок: один зелений, а інший - фіолетовий.

Будь ласка, майте на увазі, що ми зараз показуємо Пам'ять (резидентну), оскільки це буде важливо в майбутньому.

Зелений колір представляє процес під назвою mysqld. Це процес для, ну, MySQL. Як ви можете побачити на знімку екрану, він був запущений саме тоді, коли почався інцидент, що вказує на те, що він міг бути однією з причин інциденту.

Фіолетовий колір представляє процес під назвою unattended-upgr. Процес unattended-upgr в Ubuntu - це функція, яка дозволяє автоматично встановлювати оновлення безпеки на системі без необхідності втручання користувача.

Цей знімок екрану в UTC.

Як ви можете побачити, процес MySQL був запущений приблизно о 8:49 ранку, але ми також можемо побачити, як це відбувається під час роботи unattended-upgr, який також був запущений всього за хвилину до цього.

Ми покладаємося на unattended-upgr для забезпечення безпеки наших систем у будь-який час. Однак, чи міг він запустити MySQL? Цілком міг.

Раніше я сказав, що ми будемо вимірювати Пам'ять (резидентну) на той момент. Резидентна версія означає, що вона показуватиме лише пам'ять, яка використовується процесом. Якщо ми подивимося на Пам'ять (віртуальну), ми побачимо фактичний обсяг оперативної пам'яті, який виділено для процесу, що також може пояснити повільність та перевищення виділення пам'яті.

Подивившись на Пам'ять (віртуальну), ми відразу бачимо, що MySQL точно перевищує виділення оперативної пам'яті нашого сервера.

Що спричинило запуск MySQL та його велике використання?

У типовому системному налаштуванні, unattended-upgrades відповідає за автоматичне встановлення оновлень безпеки, включаючи оновлення для пакетів, таких як MySQL. Процес включає перевірку наявних оновлень та їх застосування без необхідності втручання користувача. Однак, важливо зазначити, що в логах не згадується пряма участь unattended-upgrades у запуску оновлення MySQL, і ми будемо шукати додаткові докази.

Запуск MySQL міг призвести до неочікуваних взаємодій між процесом оновлення та іншими сервісами або міг призвести до збільшення вимог до ресурсів. Один з прикладів цього - наш старий код бота Ukraine Info, який почав вимагати більше ЦП, коли не отримував того, що йому потрібно, що потім призвело до перевищення виділення та недоступності сервера.

Уроки, винесені, зміни, які будуть внесені

Ось деякі речі, які ми будемо впроваджувати протягом наступних місяців або тижнів:

  • встановити м'які ліміти на процеси та додатки, щоб запобігти повному відключенню

  • завжди залишати запасні ресурси

  • ізолювати та докеризувати всі додатки, щоб переконатися, що інші не постраждають від локальних збоїв (що відносяться тільки до одного додатка)

  • впровадити більше логування та моніторингу

  • повністю видалити застаріле або невикористовуване програмне забезпечення

  • планувати та виконувати ручні оновлення час від часу

  • покращити нашу систему сповіщень

  • спробувати не більше 3 разів запустити процес, якщо не вдається це зробити, щоб тримати використання ресурсів низьким, навіть якщо щось йде дуже не так 💥

Це деякі поліпшення, які ми будемо вносити, щоб уникнути інцидентів, які ми мали в минулому, включаючи цей.

Ми вибачаємося за будь-які незручності, спричинені 1 лютого, і ми покращимо себе настільки, наскільки це можливо, щоб переконатися, що таке ніколи знову не станеться. Поки ви тут, перегляньте наші проєкти ⬇️

🚜 Stytsko

🪐 Curiousity

- Артем

]]><![CDATA[Post mortem on the Global Services Outage]]>https://blog.curiousity.one/post-mortem-on-the-global-services-outage-1st-febhttps://blog.curiousity.one/post-mortem-on-the-global-services-outage-1st-febSun, 04 Feb 2024 14:03:03 GMTAll mention of timestamps are in UTC+2.

Beggining on Thursday, February the 1st, 2024, at 8:48 AM curioustudios' services began slowly performing and shortly after experienced an outage resulting in disability to respond to any requests. These services included the Stytsko bot, the Ukraine Info bot, the Ukraine Info Beta Programme bot, internal databases, artificial intelligence services gateways and several services related to monitoring air raid alerts in Ukraine.

All other services and bots like the Curiousity bot and Stytsko's analytics database were fine as they were hosted off-site.

This incident lasted from February 1st at 8:48 AM up until 9:43 AM when all services have completely returned to normal operations. The migration of the Ukraine Info Beta Programme bot marked the end of the incident.

What it started with

This incident started with a sudden drop in network traffic and the server stopped transmitting any data for 5 minutes (from 8:49 AM to 8:54 AM). Right before the network traffic drop, the server started seeing an increase in load average:

At 8:49 AM, right before the trafic got cut off, the server was at 100% CPU usage.

The cause

On this screenshot, in each category (CPU %, I/O read bytes and Memory (resident)) there are two colours of points shown: one is green, and, one is purple.

Please keep in mind that we are showing Memory (resident) right now, as that will be important in the future.

The lime one is a process called mysqld. It is the process for, well, MySQL. As you'll see in the screenshot, it was just launched when the incident started, indicating it might be one of the causes of the incident.

The purple one is a process called unattended-upgr. The unattended-upgr process in Ubuntu is a feature that allows automatic installation of security updates on a system without requiring user intervention.

This screenshot is in UTC.

As you can see, the MySQL process had just been launched at around 8:49 AM, but we can also see how that's happening while unattended-upgr is running and had also just been started just a minute earlier.

We rely on unattended-upgr to keep our systems secure at all times. However, could it launch MySQL? It very much could.

Before, I said that we would be measuring Memory (resident) at that moment. The resident version means that it will display only the memory that is used by the process. If we look at Memory (virtual), we'll see the actual amount of RAM that's allocated to the process, which may also explain the slowness and overallocation of memory.

After looking at Memory (virtual), we can immediately see that MySQL is definitely overallocating our server's RAM.

What caused the launch of MySQL and its enormous usage?

In a typical system setup, unattended-upgrades is responsible for automatically installing security updates, including updates for packages like MySQL. The process involves checking for available updates and applying them without requiring user intervention. However, it's important to mention that the logs do not explicitly mention the involvement of unattended-upgrades in triggering the MySQL upgrade and we will be searching for more follow-up evidence.

The launch of MySQL could have resulted in unexpected interactions between the upgrade process and other services or could have resulted in increased resource demands. One example of that is our old Ukraine Info bot software, which started demanding more CPU when it didn't get what it needed, which then resulted in overallocatin and unavailibility of the server.

Lessons learned, changes to be made

Here are some things that we'll be implementing in the next few months or weeks:

  • set soft limits on processes and applications to prevent a complete outage

  • always leave spare resources

  • isolate and dockerize all applications to make sure others aren't affected by local outages

  • implement more logging and monitoring

  • completely uninstall obsolete or unused software

  • schedule and perform manual upgrades from time-to-time

  • improve our alerting system

  • try no more than 3 times to start a process if it fails to do so, keeping resource usage low even if something goes extremely south 💥

Those are some improvements we'll be making to avoid incidents we've had in the past, including this one.

We are sorry for any inconvenience caused the 1st of February and we'll improve ourselves as much as we can to make sure things like this never happen again. While you're at it, check out our projects ⬇️

🚜 Stytsko

🪐 Curiousity

- Artem

]]><![CDATA[Лог змін Стицька - версія 2.1.3]]>https://blog.curiousity.one/stytsko-changelog-213https://blog.curiousity.one/stytsko-changelog-213Sun, 02 Jul 2023 19:44:12 GMT

Статистика

Загалом це оновлення ввело 2445 змін до коду в 15 файлах із 1757 додаваннями та 688 видаленнями.

Огляд на оновлення

Покращення

  • Це оновлення покращило продуктивність генерування повідомлень (шляхом покращення продуктивності генерації ланцюжків Маркова та формування виразів).

  • Виправлено помилки, які включали неможливість експорту баз даних.

  • Оновлено до останньої версії ядра бота.

  • Тепер Стицько також буде реагувати на повідомлення якщо у ньому є "Stytsko", та не буде реагувати на нього зовсім якщо у повідомленні є "ignore" або "ігнор".

  • Фікс багу: якщо Ви відповіли б на повідомлення Стицька, та в ньому також було слово "стицько" або "stytsko", то Стицько відповів би два рази.

Зміни

  • Статус був змінений з @Стицько | [Версія] | [сервери] сервер(и) на 123 людини і 123 сервери (просто приклад.)

  • Експорт датабази тепер казатиме що "Стицько думає...", бо тепер для цього використовується "відкладення взаємодії (англ. interaction deferring)".

    💡
    Відкладення взаємодії - тип взаємодій у Discord, що дозволяє взаємодії виконуватись більше, ніж 15 хвилин. Із-за того, що у деяких може бути надвелика датабаза, Стицьку треба буде більше часу, щоб завантажити файл датабази в Discord, тому використовується відкладення взаємодії.
  • При заповненій датабазі, Стицько тепер також буде писати в приватні повідомлення власнику сервера про те, що датабаза заповнена.

Додавання

  • Тепер у Стицьку є меми.

    • Додано команди /меми створити та /меми бібліотека (локалізовані, якщо у Вас Discord не на українській мові, то команди будуть на англійській)

    • Додано меню налаштування мемів у налаштуваннях у меню "Конфігурація Стицька на сервері"

    • Додано функцію "зберегти мем".

  • Додано кнопку "English" при вітанні Стицька коли він заходить на сервер, за допомогою якої можна переглянути текст привітання англійською.

Дякую усім контрибуторам, включаючи перекладачам та тим, хто пропонували ідеї у [Discord каналі] #пропозиції. Я планую реалізовувати багато ідей звідти до релізу версії 2.1.4. Пропонуйте ідеї там, будь ласка!

Приєднайтесь до серверу Підтримки Стицька: https://discord.gg/Kj5gFxu8aS

]]><![CDATA[Викриття Discord бота GenAi]]>https://blog.curiousity.one/exposing-genaihttps://blog.curiousity.one/exposing-genaiTue, 20 Jun 2023 14:00:39 GMT⭐ Додати Стицька: https://discord.com/oauth2/authorize?client_id=1072605270066344016&permissions=0&scope=bot%20applications.commands

👋 Сервер підтримки: https://discord.gg/Kj5gFxu8aS

Усі події описуються як у 2023 році та від лиця власника бота Стицька, Артема якщо по іншому не зазначено.

⚠ Зверніть увагу, що пост має нецензурну лексику. ⚠

Початок конфлікту

Усе починається 15 квітня з твіту власника бота GenAi.

"вот кому-то делать нехуй и сделали @stytsko_

он ещё на aoi js кажись хахахахахахах"

Власник бота GenAi, bitorin, розпочинає конфлікт саме з цього твіту, що містить грубу лексику та насмішки. Ми далі зможемо побачити, що bitorin вже скоро приведе свою армію для дискримінації Стицька та його стафа.

Ми також можемо побачити цей коментар від bitorin'а, що є правдивим, але налічіє українського в ботє не значить, що GenAi підтримує Україну, бо в коментарях до цього ж твіта ми можемо побачити декілька людей, які спамлять емодзі на якому путін показує фак з повідомленнями "вот наш ответ стицько" та "[PUTIN SQUAD]", а один з адмінів відповідає на емодзі та говорить "based":

Ескалація

Після цього, на сервері GenAi з'являється посилання на Discord сервер Підтримки Стицька, після чого декілька фанатів GenAi заходять на наш сервер. Один навіть вирішив поспамити повідомленням з посиланням на музикальний кліп "я узкій":

8 хвилин після того, як один з терористів зайшов на наш сервер та почав спамити тим, що ви побачили, заходить bitorin, власник GenAi та починає говорити білоруською мовою..?

"што клiкалi" - "як вони називали"

"у мяне ў асноўным адна прэтэнзія - чаму гена маскальскі" - "В основному маю одну претензію – чому гена москальський"

"я не маю актыўнай сымпатыі к украінскай старонке" - "Активної симпатії до української сторони не маю"

"і ўсё, расійская мне не блізка" - "і все, російська мені не близька"

(твіт зі скріншоту - https://twitter.com/bit0r1n/status/1498668254591651843)

"і што, сэа нэймчыпа гаворыць пра 2014, але толькі ў 2022 дзелае некія санкцыі" - "і що, CEO NameCheap'а говорить про 2014 рік, але тільки в 2022 році вводить якісь санкції"

"добре, заебалася з вамі абмяркоўваць пра палітыку, рэшаце самі як гэта прынімаць, но дзякую за смешныя эмоцыі, я не засумаваў па дарозе дадому)" - "ну нудно з вами про політику обговорювати, вирішуйте самі, як це сприймати, але дякую за веселі емоції, мені не було нудно по дорозі додому)"

Та потім... звісно ж, bitorin виходить, та летить в бан. Просто ще один випадок люті кинути палити.

Z-патріоти не здаються

Цікаво, у кого ж є меню налаштувань з інтерфейсом та кнопками..? Ти звісно, bitorin, пробач, але ми знаємо у кого таке є, а у кого ні. Але ти не плач, бо ще рано це робити. У Стицька будуть всі ті самі функції що є і у твого, та більше скоріше ніж ти очікуєш:

І у відповідь alewks'у зі скріншота трохи вище: так, ми вже готуємось відбирати собі долю. А чого б й ні? У Z-патріотів треба відбирати все, бо "Київський режим" так нам наказав.

Якщо деякі все ще думають, що їхній улюблений бот one love GenAi не міг їх зрадити, то Ви повинні побачити те, як bitorin банить мене з його Discord сервера за причини "хохол":

Що трохи іронічно, це те що на стікері з написом "ХД" - Костилєв Олександр Олегович, що народився у Києві, Україна, є професійним Counter-Strike: Global Offensive гравцем та активно підтримує українську сторону у соц-мережах як ми можемо це побачити у Твітері: https://twitter.com/s1mpleo

Недавно, 2-го червня, ми змогли побачити підтримку росії від GenAi ще один раз:

Декілька днів після цього повідомлення, GenAi знайшли мій альт акаунт на їхньому сервері (після 65 днів) та зробили канал "попался" в їхньому сервері, і моєму акаунту дали доступ тільки до нього, та почали спамити Z-ки та гіфки російської пропаганди (на жаль, я не зміг дістати пруфи, бо я не був дома та був зайнятим, та тільки мав пару секунд подивитись на канал). В чому прикол, це те що я навіть не пробував сховати те, що це мій альт акаунт. Акаунт у мене в друзях, має ролі адміна на сервері Підтримки Стицька, та є учасником закритих бета-тестів. Не знаю як це зайняло 65 днів щоб знайти його.

Зовсім нещодавно один з оригінальних учасників антистицьківського руху попросив у мене, мабуть, фотографії??? Я не знаю, але хтось може розповість мені?

Вони навіть зробили емодзі з цього скріншота, як мило:

Image

Щиро дякую тому хто зробив ці емодзі, мені дуже подобається. Якби у мене був до них доступ, я б використовував їх всюди, навіть спеціально для цього нітро купив би!

Кінець історії (ну, майже, я ж знаю що ніхто не зупиниться)

Пост закінчується тут, а якщо Ви хочете більше драми, додайте Стицька та приєднайтесь до його сервера підтримки для того, щоб отримувати оновлення про те як ми будемо тролити цих злих рашиків:

⭐ Додати Стицька: https://discord.com/oauth2/authorize?client_id=1072605270066344016&permissions=0&scope=bot%20applications.commands

👋 Сервер підтримки: https://discord.gg/Kj5gFxu8aS

Це усе, дякую за читання.

]]><![CDATA[Лог змін Стицька - версія 2.1.2.1]]>https://blog.curiousity.one/log-zmin-sticka-versiya-2121https://blog.curiousity.one/log-zmin-sticka-versiya-2121Mon, 12 Jun 2023 17:36:53 GMT

  • ліміт розмірів датабаз у серверах підвищений до 5 МБ

  • з'явився новий спосіб зберігання змінних мов користувачів, тому вони були скинуті (подія, що відбудеться один раз)

  • Додана Іспанська 🇪🇸 мова! Дякую DOZ3145 за допомогу з перекладом.

  • Додана Польська 🇵🇱 мова! Дякую Razu за допомогу з перекладом.

  • Тепер Стицько дійсно не дозволить зберігати більше повідомлень у базі даних сервера, якщо вона досягла свого ліміту

  • Коли датабаза досягне свого ліміту, Стицько попередить власника сервера

  • Додане одне попередження у налаштуваннях датабази (датабаза заповнена)

  • Стицько тепер реагує на "Стицько" у будь-якому повідомленні

  • Якщо у повідомленні є "ігнор", то Стицько не буде реагувати на повідомлення навіть якщо у ньому є "Стицько" чи "@Стицько#2235".

  • Стицько тепер синхронізується з платформою Crowdin, де ми перекладаємо Стицька

  • Видалені непотрібні в коді файли

  • Підготовка до перекладу команд

Дякую усім контрибуторам, включаючи перекладачам та тим, хто пропонували ідеї у [Discord каналі] #пропозиції. Я планую реалізовувати багато ідей звідти до релізу версії 2.1.3. Пропонуйте ідеї там!

Приєднайтесь до серверу Підтримки Стицька: https://discord.gg/Kj5gFxu8aS

]]><![CDATA[Журнал змін Стицька за 31 травня 2023 (2.1.2)]]>https://blog.curiousity.one/stytsko-changelog-212https://blog.curiousity.one/stytsko-changelog-212Wed, 31 May 2023 07:41:40 GMTЛанцюг Маркова

Завдяки новій тактиці оптимізації реалізовано генерацію ланцюга Маркова, підвищуючи загальну продуктивність бота та зменшуючи використання ресурсів більш ніж у 50 разів. Нова реалізація ланцюга Маркова також робить відповідь бота більш випадковою.

Багатомовна підтримка

Реалізована багатомовна підтримка. У боті вже реалізована підтримка англійської мови, усі функції перекладені. Тепер бот отримує весь текст із файлу JSON, у якому завантажено мову поточного користувача.

Локалізація команд

Незабаром команди зі слешами також використовуватимуть функцію «локаль» команд Discord, яка може перекладати команди слешів залежно від мови клієнта користувача, тоді як ідентифікатор команди слешів залишається незмінним.

Ці функції стануть відправною точкою для нового, багатомовного Стицька.

a curioustudios production, 2023.

Слава Україні!

]]>