- Lid geworden
- 7 okt 2002
- Berichten
- 55.010
- Waardering
- 3.205
Beste leden en bezoekers
Ik wil mijn oprechte excuses aanbieden voor de technische problemen die zich gisteren hebben voorgedaan. Hoewel het een totaal onverwachte fout in de database betrof, blijf ik verantwoordelijk en voel me er niet goed bij dat het gebeurd is. Ik moet nog uitzoeken wat er precies is misgegaan, maar gelukkig is het forum nu weer online.
Wat je helaas wel gaat merken is dat alles wat tussen eergisteren 23u00 en de heropening geplaatst werd niet herstelt is kunnen worden. Dat komt omdat we moesten terugvallen op een backup van 4 april 23u aangezien de actuele database niet meer te redden was.
Wat je dus kan hebben is dat posts, profielposts, conversaties, en foto's die je recentelijk geplaatst hebt er niet meer zijn. Deze zal je dus opnieuw moeten plaatsen.
Sorry voor de ongemakken en alle mails die door het systeem onterecht werden verzonden als gevolg van de fout.
T.
Toevoeging: als je vreemde e-mails hebt ontvangen die geen steek houden, gelieve hier dan niet op te reageren, maar deze te verwijderen, dank.
UPDATE 6/4/16 19:00:
We hebben de oorzaak van dit voorval gevonden en maatregelen genomen zodat dit 100% zeker nooit meer opnieuw kan gebeuren.
Voor wie het interessant vindt om te weten wat er precies misgelopen is (wet van Murphy speelt een grote rol hier):
1) In DBB werden er wel eens "mass PM's" verstuurd, honderden en soms duizenden gebruikers kregen zo updates over de forum contest en andere belangrijke aankondigingen.
2) Eind 2015 zijn we zoals bekend verhuisd naar een nieuwe site en ook is de backend volledig van 0 opnieuw geschreven
3) De verhuizing hield ook in dat alle data (inclusief PM's) geïmporteerd moesten worden naar het nieuwe systeem (conversaties)
4) In het systeem van conversaties werden echter alle begunstigden van een mass PM als 'deelnemers' toegevoegd in conversaties
5) Zo had je conversaties van honderden en soms duizenden (in dit geval 4999) deelnemers
6) Als er dan iemand in zo'n conversatie reageert, dan krijgen alle andere deelnemers hiervan een melding via e-mail
7) Deelnemers begrijpen niet wat er gebeurd en gaan nu naar de conversatie en reageren erop (vaak terecht geïrriteerd)
8) Hun reacties zorgen er echter voor dat nog meer meldingen via e-mails verzonden werden, en het wordt een vicieuze cirkel
9) Ik krijg klachten via e-mail, vaak van leden die al jaren niet meer op het forum komen, ze denken dat ze spam ontvangen en willen hun account direct laten verwijderen.
10) Ik zie op dat moment niet direct wat de oorzaak van dit alles is, en vermoed dat de database corrupt is geworden op één of andere manier
11) Er is eigenlijk niets mis met de database, blijkt later
12) Ik haal het forum echter offline op dat moment omdat het een chaos dreigt te worden
13 Webhost doet een database restore, maar dit duurt erg lang (vele uren)
14) Forum is daardoor véél te lang offline
15) Na de restore blijkt dat deze niet compleet is, er is iets foutgelopen tijdens het herstellen van de data, miljoenen posts ontbreken in de post tabel, hierdoor zien leden overal lege posts
16) We besluiten het forum te sluiten en ipv een database restore nu een bare-metal restore te doen, dit gaat veel sneller en was al na anderhalf uur klaar
17) Wanneer deze klaar is was het forum meteen open omdat het in deze database nooit gesloten werd
18) Alles is weer normaal, maar toch reageren mensen nog via mail dat ze meldingen krijgen, we onderzoeken dit verder om de oorzaak te vinden
19) Samen met de ontwikkelaar komen we te weten dat de oorzaak ligt bij het feit dat iemand mij een conversatie gestuurd had op één van de mass PMs met bijna 5K deelnemers
20) Het hele verhaal wordt duidelijk, we verwijderen de conversaties met de abnormaal hoge deelnemersaantallen
Kort samengevat:
Er is dus geen bug geweest eigenlijk, er is ook niet direct iemand in fout gegaan. Een samenloop van omstandigheden heeft geleid tot een dag geen forum. Hoewel degene die gereageerd had in de conversatie duidelijk kon zien dat er duizenden deelnemers in de conversatie aanwezig waren, en hij gewoon een nieuwe conversatie had moeten beginnen, is het begrijpelijk dat hij dit niet opgemerkt had en zo de hele reeks gebeurtenissen in gang had gezet.
Ik neem mijn verantwoordelijkheid op en bied nogmaals mijn excuses aan. De offline tijd had niet zo lang moeten zijn, helaas door een wat paniekerige reactie. Heb hier wel van geleerd en in de toekomst zal dit niet opnieuw voorvallen. Het forum is op zichzelf stabiel, en wij garanderen een zeer lage offline tijd, echter menselijke fouten kunnen zich altijd voordoen.
Om het een beetje goed te maken gaan we voor de rest van de week een éénmalige korting doen op het elite lidmaatschap van 50% voor alle actieve en trouwe leden: https://forum.bodybuilding.nl/topic...lige-korting-50-op-elite-lidmaatschap.395946/
Natuurlijk gaan we ook blijven werken aan het forum om het elke dag beter te maken, de komende maanden zullen er nog nieuwe (DBB) features bijkomen. Elite leden mogen daarbij rekenen op nog meer extra features.
Iedereen bedankt, ook voor jullie geduld
Ik wil mijn oprechte excuses aanbieden voor de technische problemen die zich gisteren hebben voorgedaan. Hoewel het een totaal onverwachte fout in de database betrof, blijf ik verantwoordelijk en voel me er niet goed bij dat het gebeurd is. Ik moet nog uitzoeken wat er precies is misgegaan, maar gelukkig is het forum nu weer online.
Wat je helaas wel gaat merken is dat alles wat tussen eergisteren 23u00 en de heropening geplaatst werd niet herstelt is kunnen worden. Dat komt omdat we moesten terugvallen op een backup van 4 april 23u aangezien de actuele database niet meer te redden was.
Wat je dus kan hebben is dat posts, profielposts, conversaties, en foto's die je recentelijk geplaatst hebt er niet meer zijn. Deze zal je dus opnieuw moeten plaatsen.
Sorry voor de ongemakken en alle mails die door het systeem onterecht werden verzonden als gevolg van de fout.
T.
Toevoeging: als je vreemde e-mails hebt ontvangen die geen steek houden, gelieve hier dan niet op te reageren, maar deze te verwijderen, dank.
UPDATE 6/4/16 19:00:
We hebben de oorzaak van dit voorval gevonden en maatregelen genomen zodat dit 100% zeker nooit meer opnieuw kan gebeuren.
Voor wie het interessant vindt om te weten wat er precies misgelopen is (wet van Murphy speelt een grote rol hier):
1) In DBB werden er wel eens "mass PM's" verstuurd, honderden en soms duizenden gebruikers kregen zo updates over de forum contest en andere belangrijke aankondigingen.
2) Eind 2015 zijn we zoals bekend verhuisd naar een nieuwe site en ook is de backend volledig van 0 opnieuw geschreven
3) De verhuizing hield ook in dat alle data (inclusief PM's) geïmporteerd moesten worden naar het nieuwe systeem (conversaties)
4) In het systeem van conversaties werden echter alle begunstigden van een mass PM als 'deelnemers' toegevoegd in conversaties
5) Zo had je conversaties van honderden en soms duizenden (in dit geval 4999) deelnemers
6) Als er dan iemand in zo'n conversatie reageert, dan krijgen alle andere deelnemers hiervan een melding via e-mail
7) Deelnemers begrijpen niet wat er gebeurd en gaan nu naar de conversatie en reageren erop (vaak terecht geïrriteerd)
8) Hun reacties zorgen er echter voor dat nog meer meldingen via e-mails verzonden werden, en het wordt een vicieuze cirkel
9) Ik krijg klachten via e-mail, vaak van leden die al jaren niet meer op het forum komen, ze denken dat ze spam ontvangen en willen hun account direct laten verwijderen.
10) Ik zie op dat moment niet direct wat de oorzaak van dit alles is, en vermoed dat de database corrupt is geworden op één of andere manier
11) Er is eigenlijk niets mis met de database, blijkt later
12) Ik haal het forum echter offline op dat moment omdat het een chaos dreigt te worden
13 Webhost doet een database restore, maar dit duurt erg lang (vele uren)
14) Forum is daardoor véél te lang offline
15) Na de restore blijkt dat deze niet compleet is, er is iets foutgelopen tijdens het herstellen van de data, miljoenen posts ontbreken in de post tabel, hierdoor zien leden overal lege posts
16) We besluiten het forum te sluiten en ipv een database restore nu een bare-metal restore te doen, dit gaat veel sneller en was al na anderhalf uur klaar
17) Wanneer deze klaar is was het forum meteen open omdat het in deze database nooit gesloten werd
18) Alles is weer normaal, maar toch reageren mensen nog via mail dat ze meldingen krijgen, we onderzoeken dit verder om de oorzaak te vinden
19) Samen met de ontwikkelaar komen we te weten dat de oorzaak ligt bij het feit dat iemand mij een conversatie gestuurd had op één van de mass PMs met bijna 5K deelnemers
20) Het hele verhaal wordt duidelijk, we verwijderen de conversaties met de abnormaal hoge deelnemersaantallen
Kort samengevat:
Er is dus geen bug geweest eigenlijk, er is ook niet direct iemand in fout gegaan. Een samenloop van omstandigheden heeft geleid tot een dag geen forum. Hoewel degene die gereageerd had in de conversatie duidelijk kon zien dat er duizenden deelnemers in de conversatie aanwezig waren, en hij gewoon een nieuwe conversatie had moeten beginnen, is het begrijpelijk dat hij dit niet opgemerkt had en zo de hele reeks gebeurtenissen in gang had gezet.
Ik neem mijn verantwoordelijkheid op en bied nogmaals mijn excuses aan. De offline tijd had niet zo lang moeten zijn, helaas door een wat paniekerige reactie. Heb hier wel van geleerd en in de toekomst zal dit niet opnieuw voorvallen. Het forum is op zichzelf stabiel, en wij garanderen een zeer lage offline tijd, echter menselijke fouten kunnen zich altijd voordoen.
Om het een beetje goed te maken gaan we voor de rest van de week een éénmalige korting doen op het elite lidmaatschap van 50% voor alle actieve en trouwe leden: https://forum.bodybuilding.nl/topic...lige-korting-50-op-elite-lidmaatschap.395946/
Natuurlijk gaan we ook blijven werken aan het forum om het elke dag beter te maken, de komende maanden zullen er nog nieuwe (DBB) features bijkomen. Elite leden mogen daarbij rekenen op nog meer extra features.
Iedereen bedankt, ook voor jullie geduld
