Zum technischen Zustand dieses Forums

Die massive Beeinträchtigung der Performance existiert seit dem Start
der neuen Umgebung. Reparaturversuche haben nur geringfügige Verbesserungen
gebracht, Wartezeiten von 20 sec. und mehr sind keine Seltenheit.
Das eigentliche Problem wurde durch Reparaturversuche nicht gelöst.
Im Vergleich zur ehemaligen Installation ist dieses neue Forum ein Rückschritt,
obwohl aus vielen Gründen das Gegenteil erwartbar wäre.

Da ich keinen Einblick in den Systemaufbau habe und mir auch keinen
verschaffen möchte, kann ich nur aus dem Systemverhalten einige Erfahrungswerte
ableiten.

Es handelt sich mit hoher Wahrscheinlichkeit um Inkompatibilitäten zwischen
altem Softwarebestand zu neuen Softwarekomponenten, die im Zuge des Serverwechsels
installiert wurden. Das ist kein Softwarefehler per se, sondern eher ein Pflege-
und Updatebedarf. Gefühlt handelt es sich um redundante db queries auf Grund
einer alten/fehlerhaften Datenstruktur oder um ein problematisches fs, auf dem
die db liegt. Sollte der Wechsel von ext? auf btrfs erfolgt sein, dann ist das
Problem faktisch.

Diese Problematik zeigt sich deutlich durch die massiven Einbrüche der Performance
bei höheren Zugriffsraten durch clients oder crawlers von Suchmaschinen.
Es handelt sich dabei ausschließlich um ein Softwareproblem.
Der Tausch von Hardwarekomponenten, wie bereits passiert, ist deshalb
als kosmetisch zu werten und nicht zielführend.
Kein Sachkundiger wird bei blockierter Bremse einen stärkeren Motor zur
Steigerung der Performance einbauen. Ich zweifle deshalb an der Kompetenz
des technisch Verantwortlichen.

also, Informatiker

Das DGF ist ja bekanntlich ein fast ausschließlich text-basiertes Forum mit - MB-mäßig - recht überschaubarem Archivbestand sowie vergleichsweise marginalen Nutzerzahlen, technisch basierend auf lang bewährter Standard-Software.

Für so etwas gab es schon zu seligen CompuServe/UseNet-Zeiten - damals allerdings mit analogem Modem und experimenteller Software - vergleichbare oder bessere Verfügbarkeiten.

Was, wenn die Nicht-Performance, die wir hier seit Wochen geboten bekommen, nicht (nur) technische Hintergründe hat - selbst bei unterstellter Semi-Professionalität der Teilzeit-Wartung?

Was, wenn wir gerade Opfer einer peu à peu-Abschaltung werden - von wem auch immer und aus welchem Grund auch immer veranlasst?

Das alles ist natürlich nur reine Verschwörungstheorie, versteht sich. [[top]]

Das Forum schrammt derzeit an der Grenze zur Unbenutzbarkeit.
Antwortzeiten von 20++ Sekunden sind die Regel. Die Suchfunktion präsentiert derzeit nach ca. 60 Sekunden Rödeln ein solides

404 Not Found
nginx/1.14.2

Es fühlt sich an, als ob das Forum auf einem shared Server läuft. Bzw. schmalbrüstiger Server mit viel zu wenig RAM und/oder ohne SSDs?

Wenn schon die Anzeige wie oft ein Beitrag gelesen wurde, den Server vor eine unlösbare Aufgabe stellt, dann ist da aber richtig der Wurm drin. Das Forum dürfte geschätzte 95% Lesezugriffe haben. Das sollte eigentlich für ein richtig dimensioniertes System kein Problem darstellen.

Grüße
HansMuc

Vorab: Mein Kontakt zu Jürgen ergab sich im Jahr 2012 aus bestimmten Notwendigkeiten heraus, die für Jürgen und den Fortbestand des Forums unumgänglich waren. Wir haben dann gemeinsam eine Lösung etabliert, bei der es nicht auf technische Eleganz ankam. Im Vordergrund stand die Funktion.

Um die steht es offenbar beim Forum nicht gut. Es ist sinnfrei, das an Personen und technischen Rahmenbedingungen festzumachen, die als ein gewissermaßen sich selbstverstärkendes Problem in die aktuelle Situation gemündet haben. Es ist jetzt so wie es ist und es wird auch nicht besser. Der Karren steckt fest.

Meiner Meinung nach braucht es einen Fachmann und für den wiederum die einzig zielführende Motivation: Geld.

Ich bin dabei, werde allerdings nichts organisieren. Es wäre schön, wenn sich etwas in Gang setzen ließe, um den aktuellen (unerträglichen) Zustand ein für alle mal zu beenden.

Das wäre sicher auch im Interesse von Jürgen.

Viele Grüße vom zip.

Hallo zip,

Das DGF wird von der Internet AG betrieben.
Und 'Neuer Chef' - noch mit voller Zustimmung Jürgens - wurde ja mit Stefan Schellenberg (=@STS) der 'Kopf' der Internet AG.
D.h. an Resourcen und Knowhow sollte es sicher grundsätzlich nicht liegen!

Aber an was dann?

Ich habe, wie viele andere Gelbe auch, dem @Chef_Techniker wiederholt Tipps+Hinweise gegeben und auch AKTIVE Hilfe angeboten!
Auf Weniges ging er ein, aber offenbar läuft trotzdem jetzt nginx als reverse Proxy, anstatt einem vorgeschlagenen caching revPr. Ebenso scheint die der ja offensichtlich überlastete SQL-Server auch weiter 'monolithisch' zu laufen!
Auf Probleme bei+wegen Virtualisierung (vor allem wenn nur ein Server 'für Alles') hatte ich auch schon oft genug hingewiesen.

Bis jetzt wurde auch keine meiner zahlreichen PMs beantwortet.

Frage ist also, ob @STS=Stefan hier keine Zeit oder kein Interesse mehr hat, oder was auch immer für 'Fremdinteressen' dahinter stecken?

Falls @STS hier in einem wie auch immer gearteten Interessenkonflikt ist, möge es es bitte mitteilen!

Das Forum in die Hände einer 'DGF-Betreiber-Gemeinschaft' zu geben sollte kein Probem sein, es gibt genug erfahrene Gelbe in allen notwendigen Bereichen! Also Organisation und Rechtsfragen und natürlich genug weitere 'IT-Fuzzies' um das zu managen...! Auch Admin/Moderator-Erfahrung bringen sicher nicht nur @taurec und ich mit...

Aber:
Insgesamt sollte die Serverstruktur - und das endlich redundant - komplett neu aufgesetzt werden!
Meine und @Sylvias (und sicher noch weitere) Ideen dazu liegen dem @Chef_Techniker und damit ja auch @STS vor!
Ob bei der Internet AG oder nicht, ist eine ganz andere Frage, bei der @STS natürlich mitentscheidet!
Grundsätzlich könnte man auch wegen vielen leidigen 'Betreiberrisiken' über multiple Standorte nachdenken -- denn die Gelben snd ja sowieso international verteilt.

Beste Grüße

QuerDenker

--
10cc: 'communication is the problem to the answer' <img src= " />

Offensichtlich stinkt es dann wohl vom Kopfe her.

Spekulationen führen zu nichts. Auch wenn auf mich spontan das von dir geschilderte Verhalten sehr stark den Eindruck macht, dass hier nicht mehr von Nachlässigkeit auszugehen ist und Vorsatz besteht – aus welchen Gründen auch immer – will ich einfach nicht glauben, dass "das Gelbe" übernommen wurde, um es in die Bedeutungslosigkeit zu überführen. Nein, das kann es nicht sein!

Eher glaube ich daran, dass ein Praktikant am Werk war, irgendwo vergessen hat, in der Forensoft eine Option rauszunehmen, eine Bandbreitenbegrenzung zu deaktivieren oder andere Dinge versehentlich aktiv gelassen hat, die man für das Debugging braucht. Die Performance ist schlechter als bei meinem Sinclair ZX Spectrum aus dem Jahr 1982 im Basic Compiler. Und es scheint auch so, als würde jede Interaktion mit dem Forum erst mal darauf warten, dass im Hintergrund alles erst mal auf Datasette gesichert wird, bis es weiter gehen kann.

Hat jemand einen Draht zum Hadmut Danisch? Das wäre der Mann fürs Grobe, den wir jetzt gut brauchen könnten.

Viele Grüße vom zip.

Edit: Das ist eine uralte Forensoft. Die ist unter dem Gesichtspunkt entwickelt worden, dass man sich mit Akustikkoppler und 300 Baud verständigen kann. Hier sind sicherlich defaults hinterlegt, deren Bedeutung keiner heute (mehr) versteht (da obsolet) und wenn man dann diese defaults drin lässt, ist die Performance halt so, wie sie jetzt ist. Ich unterstelle nach wie vor Unkenntnis.

Hallo zip,

nur damit es bei Allen richtig ankommt.
Meine Ausführung waren bitte in keinster Weise eine Kritik an @STS oder @Chef_Techniker!

Aber ein bisschen mehr transparente Kommunikation und vor allem Antworten auf Beiträge+Fragen und vor allem PMs wäre einfach Etwas, was man erwarten darf.

Das richte ich gerne auch direkt @STS, denn Stefan kann uns sicher am besten erklären, wie der Status (also die aktuelle Architektur usw.) ist und wohin seiner Meinung nach der Weg geht!

... Praktikant?

Aus einem Postings vom @Chef_Techniker geht hervor, dass er/sie ein Admin der IAG sei.

Der Vergleich mit Raspi und Sinclair ist bei den über 500000 Beiträgen und vor allem der massenweise 'Bots' usw. zwar 'subjektiv', aber 'symbolisch' zeigt es doch die Probleme sehr klar ;o)

Am besten sollte sich @STS/@Chef_Techniker noch mal die unzähligen Tipps/Hinweise/Bitten aller Foristi ansehen, und dann bitte einfach Transparenz zeigen und auflisten was wie geregelt/umgesetzt/geändert wurde, und was noch nicht und wie es weitergeht.

Danke

Beste Grüße nochmals

QuerDenker

--
10cc: 'communication is the problem to the answer' <img src= " />

Hallo zip,

offenbar wurde jetzt einen 404.html oder sowas eingepflegt, die anstatt den 'nginx meldet 404-Fehler' ein:
'An error occurred.
Sorry, the page you are looking for is currently unavailable.
..
Dasgelbeforum steht derzeit unter Vollast. Bitte ggf. später nochmal probieren'
liefert.

Das ist zwar nur Kosmetik , aber zweigt dem Nutzer ja wenigstens, dass die URL stimmte <img src= " />

Ich bin gespannt, wann wir Antworten von @STS bzw. vom @Chef_Techniker sehen.
Auch würde mich freuen, REsonanz auf meine PM zu erhalten...

Einen schönen Abend noch

QuerDenker

--
10cc: 'communication is the problem to the answer' <img src= " />

und zwar hier:

https://www.dasgelbeforum.net/index.php?id=514655

Nochmal verlinkt , da es schon bald auf Seite 2 rutscht.

Gruß Odysseus

Da sieht man, was das hier für ein Krampf geworden ist. Elend lange Zeiten, in denen nix passiert. Das ist schlicht und ergreifend Kaxxe!

Wir brauchen eine Task-Force. Am Geld wird es nicht scheitern.

Viele Grüße vom zip.

Ladezeit eine Seite: zur Zeit ca. 60 Sekunden

Vorweg: Es kann nicht um Schuldzuweisungen oder Abqualifikationen gehen. Niemandem wird persönlich ein Vorwurf gemacht. Es geht ausschließlich um einen Ist-Zustand, der verbessert werden muß.

Bei den Verantwortlichen erfordert das zuerst einmal, Hilfe zuzulassen. Das ist nicht so schlimm. Und falls ihr - verständliche - Sicherheitsbedenken habt, dann kann euch auch da geholfen werden.

Zur Zeit habe ich mehrere, auch größere, Web-Projekte (teils Frontend, teils Backend) unter meiner Verantwortung und ich hätte trotz regulärem Admin/Developer-Job (rund 20 Jahre Erfahrung) Zeit, mir das Gelbe anzuschauen und ggf. wieder "flott" zu kriegen. Das Geld wäre erst mal kein Kriterium, ich will ja keinen Dauerjob daraus machen.

Es würde bedeuten, daß ich mir die vorhandene Infrastruktur erstmal daraufhin anschaue, ob sie überhaupt geeignet ist. Wie schon anderweitig erwähnt, kostet der kleinste dedizierte Server weniger als 50 Euronen Miete/Monat und hätte mit dem Forum keinerlei Probleme. Ich würde sogar sagen, daß man es auf einem Raspberry schneller als im Moment laufen lassen könnte. Also Investitionen in mehr Hardware sind wirklich völlig unnötig. Vermutlich zahlt ihr im Moment eher viel zu viel.

Im nächsten Schritt würde ich mir die Software selbst anschauen, dazu hat ZIP schon genug gesagt. Wie es aussieht, sind PHP und/oder die DB völlig fehlkonfiguriert. Ein anderer Webserver bringt da gar nichts. Statische Inhalte z.B. werden schnell ausgeliefert. Mit nginx rumzubasteln ist also an dieser Stelle nicht zielführend.

So wie ich es sehe, kann ein Rückumzug auf die alte Forumsversion nicht in Frage kommen. Ein neues Produkt mit bereits vorgenommenen Änderungen wieder zurück auf einen alten Server und Stand zu bringen (der auch nicht fehlerfrei war), ist meiner Erfahrung nach unberechenbarer, als den Weg nach vorn zu wählen.

Also, Betreiber und Verantwortliche. Soll das Schiff schwimmen oder zum U-Boot werden?

Danke für dein Feedback. Meines Erachtens kommt man nicht drum herum, sich mal mit 3 bis 4 Leuten bei einem Kaffee an den Tisch zu setzen.

Ich werde nicht dabei sein, bin aber gerne als Sponsor tätig. Mir blutet das Herz, würde es mit dem Forum wegen dieser lächerlichen technischen Unzulänglichkeit nicht weiter gehen.

Danke an alle, die meiner Meinung sind. Und vor uns liegen Wochen, die uns den zeitlichen Freiraum bescheren, hier einmal die Sache gerade zu rücken.

Danke vom zip.

U-Boot....ein gutes Stichwort

Nachdem das Gelbe im Meer von schwarzen Algorithmen und Bit und Bytes in aussichtslose Tiefe und Lage gesunken ist, schöpft die Mannschaft mit den Ideen des "Neuen" , der erst seit dem letzten Stop an Bord ist, Hoffnung......

"Das Gelbe" - die Auferstehung ....NOT YET KAMERADEN, NOT YET

https://www.youtube.com/watch?v=Oqek9Ktuwy8

Für Ungeduldige: 0:35 - 2:15 / 3:35

Das muss das Ziel sein

Hoffe, das motiviert ein wenig [[zwinker]]

Gruß Odysseus

Edit: Plötzlich läufts brauchbar.....zumindest um 23.33

Edit 2: Jetzt richtig flott, wenn es doch nur so bliebe. (23.46)

Da ich keinen Einblick in den Systemaufbau habe und mir auch keinen
verschaffen möchte, kann ich nur aus dem Systemverhalten einige Erfahrungswerte
ableiten.

Und genau das sollte man als Informatiker nicht machen, wenn man die Hintergründe nicht kennt.

Also für euch "Informatiker":

- Der Server hat jetzt 20 CPUs. Systemlast ist derzeit bei 10.72
- NGINX und mariadb mit php-fpm sind optimiert nach systemvorgaben.
- fail2ban auf die Bots gesetzt

Das Problem ist die Datenbank des gelben Forums, weil er bei JEDEM Aufruf der Homepage einen select macht wieviel Topics und messages es gibt.

Vorschlag wäre, ein Duplikat zu machen für Einträge bis 2018 und dann das neue Forum mit 2019/2020 ++ zu bespielen.

Und bitte hört mit den Diskussionen über unsere Fähigkeiten auf. Das tut WEH! Wir machen das beste für das Forum und immer wieder Beschwerden für ein KOSTENLOSES Forum.

Also im Interesse der Hysterie auf der Welt: Bitte mal ein bischen beruhigen.

Hallo Chef_Techniker,

- Der Server hat jetzt 20 CPUs. Systemlast ist derzeit bei 10.72

Die 10+ lassen halt 'wenig Luft nach oben'!

Hast Du meine Hinweis bzgl. des Schwellwertes von grob 1800 Zugriffen='Gästen' gesehen ab denen
'nicht mehr ging' bzw. beim Unterschreiten wengistens wieder 'bisschen was' -- und dann hattest Du ja irgendetwas neu gestartet :)

- NGINX und mariadb mit php-fpm sind optimiert nach systemvorgaben.

Aber noch kein caching revProxy oder, der die SQL-Abfragen=Seitenaufbauten minimieren könnte, oder?

- fail2ban auf die Bots gesetzt

o.k. - einer der Wege dafür

Das Problem ist die Datenbank des gelben Forums, weil er bei JEDEM Aufruf der Homepage einen select macht wieviel Topics und messages es gibt.

Das Problem ist ja bekannt.
Warum nicht diese Abfragen, wie schon wiederholt vorgeschlagen, z.B. via memcache (also schneller RAM-Zugriff mit 'Key' anstatt SQL-Syntaxcheck+Auswertung+'Rechnerei'...) in den Code einbauen?
Besser sogar die letzten x Beiträge schon 'vorgekocht' vorhalten...

Alternative - auch schon vorgeschlagen - ein paar mariadb repliziert=parallel laufen lassen (als read-only - und einer pro http--Server dann muss man auch nichts an der MLF-Software ändern, sondern nur pro Instanz unterschiedliche sql-config-phps nutzen)
Und über den revProxy diese parallelen Server dann wieder abbilden.
Dann muss nur der eingeloggte User - und die Einlogseite+Userdaten+.. - auf den Lese/Schreibserver -- und der bekommt einen oder mehrere WEITERE http-server-Instanzen.
Ausnahme wären die Zugriffszähler, aber das ist ja lösbar oder 'entbehrlich'

Und das sollte doch alles auf der 20-core Maschine gehen!

Vorschlag wäre, ein Duplikat zu machen für Einträge bis 2018 und dann das neue Forum mit 2019/2020 ++ zu bespielen.

Die Idee ist gut, aber wird bei der Suche problematisch.
Ausser man modifiziet die Suche so, dass alle Datenbanken ausgewertet werden.
Dann könnte man soweit gehen und pro Jahr eine Datenbank fahren

Und bitte hört mit den Diskussionen über unsere Fähigkeiten auf. Das tut WEH! Wir machen das beste für das Forum und immer wieder Beschwerden für ein KOSTENLOSES Forum.

Verstehe ich absolut.
Einzig verstehe ich nicht, dass die PMs an Dich offenbar im 'Nirvana' landeten?

Danke und beste Grüße -- auch nochmals ans Stefan

QuerDenker

--
10cc: 'communication is the problem to the answer' <img src= " />

Diese Aufforderung findet sich in der vierten Strophe des in der Zeit der Bauernkriege entstandenen Lutherliedes »Ein feste Burg ist unser Gott« (um 1529). Hier heißt es: »Nehmen sie den Leib,/Gut, Ehr, Kind und Weib, -/lass fahren dahin!« Schiller nahm diese Formulierung in seinem Reiterlied in »Wallensteins Lager« (1798/99) auf: »Warum weint die Dirn' und zergrämt sich schier?/Lass fahren dahin, lass fahren!« - Das Zitat ist Ausdruck von Resignation, eine Aufforderung an sich selbst oder an andere, etwas Bestimmtes aufzugeben, nicht länger sein Herz daran zu hängen.

(Quelle, Hervorhebung von mir)

Mehr fällt mir nach der Stellungnahme des Chef-Technikers zur Zukunft des Gelben nicht mehr ein. Ich würde meinen Gefühlen an dieser Stelle gerne mit einem Smiley Ausdruck verleihen, finde aber keinen passenden...

Resignierende Grüße,

Nordlicht
(Software-Entwickler mit 30+ Jahren Berufserfahrung)

Deutlich schnellere Zugriffe. Hoffe nur, es friert nicht langsam wieder ein.
Danke

Das Problem ist die Datenbank des gelben Forums, weil er bei JEDEM Aufruf der Homepage einen select macht wieviel Topics und messages es gibt.

Haben die in der aktuellen mylittleforum Version alles komplett umgeschrieben und den problematischen select gab es in der alten Version nicht? Es funktionierte früher ja mit älterer Hardware wie auf Speed.

Das Problem ist die Datenbank des gelben Forums, weil er bei JEDEM Aufruf der Homepage einen select macht wieviel Topics und messages es gibt.

Haben die in der aktuellen mylittleforum Version alles komplett umgeschrieben und den problematischen select gab es in der alten Version nicht? Es funktionierte früher ja mit älterer Hardware wie auf Speed.

Nach Meiner analyse ist die 2.x version komplett umgeschrieben.
Die Queries sind halt sowas wie das hier :

SELECT COUNT(*) FROM forum_entries LEFT JOIN forum_akismet_rating ON forum_akismet_rating.eid = forum (...)

und davon bei jedem seitenaufruf wird das neu gemacht. ich habe noch keine möglichkeit gefunden das besser zu optimieren.

SELECT COUNT(*) FROM forum_entries;
+----------+
| COUNT(*) |
+----------+
| 507346 |
+----------+

Ich hatte es hier bereits geschrieben und vermutet:

Mit 'unvorteilhaften' SELECTs kann man jeden DB Server in die Knie zwingen, wenn man unbedacht mit JOINs, UNIONs, COUNTs, etc. um sich wirft. Das Forum sollte, wie auch von anderen bereits geschrieben, mit recht magerer Hardware auskommen. Vor allem wenn ich dann lese:

Der Server hat jetzt 20 CPUs

oder

Wenn wir also die älten Dinge vor 2017 hier löschen würden, rennt das glaube ich wirklich gut. (Hervorhebung von mir)

stimme ich @Nordlicht zu und es verbleibt das große [[hae]] [[hae]] [[hae]]

Für Query-Analyse bietet MariaDB als MySQL Fork z.B. die Statements EXPLAIN oder ANALYZE an. Angewendet auf betroffene SELECTs, wird man schnell sehen, warum die betroffenen QUERYs Probleme machen.

Betroffens von der Problematik ist nämlich nicht nur die 'Landing Page' https://www.dasgelbeforum.net/forum.php

Auch das Aufrufen eines singulären DB Eintrages mittels dessen ID, z.B. https://www.dasgelbeforum.net/index.php?id=514702, ist davon betroffen: id=514702, 514702 ist der Startbeitrag dem dieser Eintrag, den ich jetzt schreibe, 'untergeordnet' wird.

Dies dürfte absolut nicht vorkommen, da ein 'lesender' SELECT auf die id, sowie wenige 'unter-' bzw. 'übergeordnete' ids, mit das schnellste ist was ein DBMS kann und worauf hin es optimiert ist.

Es reicht ja, wenn das ein Mal alle Stunde oder so aktualisiert wird.

Grüße

--

Afuera!

Hallo FOX-NEWS,

ein der (bekannten) Vorschläge hierzu würde bedeuten, dass man in den wenigen Zeilen in denen diese Zähler abfragt werden, Abfragen einbaut, die auf z.B. memcache (RAM-basierender=sehr schneller Key/Value-System (fast ein 'overkill' für die paar Werte!) oder sogar grundsätzlich nur einfache Textdateien (bestenfall in einer RAMdisk und damit ebenfalls sehr schnell...) zugreifen.
Diese könnte man entweder minütlich per cronjob und SQL-Abfrage und/oder bei jeder Schreibänderung aktualisieren.
Ich werde Chef_Techniker nochmals direkt darauf ansprechen.

Beste Grüße

QuerDenker

--
10cc: 'communication is the problem to the answer' <img src= " />

Vorschlag wäre, ein Duplikat zu machen für Einträge bis 2018 und dann das neue Forum mit 2019/2020 ++ zu bespielen.

Ich habe mein Forum, das übrigens auch auf mylittleforum basiert, nach einiger Zeit immer wieder geteilt. Aktuell ist Forum3

Forum1 und Forum2 werden zu Archiv1 und Archiv2

Wobei Forum1 auf mylittleforum 2.x portiert wurde. Forum2 läuft noch als milittleforum 1.x, wird aber demnächst noch auf 2.x portiert. Das aktuelle Forum3 läuft von Anfang an auf milittleforum 2.x.

Alle Foren liefen, auch in der Vergangenheit, bei 4 Rechenkernen und 8 MB RAM einwandfrei.

Aktuelle habe ich 24 Rechenkerne und 32 MB RAM. Auf dem Server liegt aber noch eine andere Webseite mit hoher Frequenz (at.wikimannia.org). Die aktuelle Auslastung des Servers liegt unter 10%

Die betreffenden Webseiten und Foren:
https://wgvdl.com
https://wgvdl.com/forum1
https://wgvdl.com/forum2
https://wgvdl.com/forum3
https://at.wikimannia.org

Der Aufruf der Forumseiten kann ein paar Sekunden dauern, besonders Forum2, da es dort keinen Cache gibt (1.x Software). Mehr al 4 Sekunden sind es aber nie. Einzelne Beiträge erscheinen sofort.

at.wikimannia.org hat dieses Jahr bereits über 1 Million Seitenaufrufe.

Das sollte nur zur allgemeinen Information dienen. Wer nicht hinter die Kulissen blickt, kann kaum ermessen, was für ein Zeitaufwand und Lernkurve für die Funktion eines Internet-Servers erforderlich ist.

Rainer

--
Ami go home!
RundeKante
WikiMANNia
WGvdL Forum

Da ich keinen Einblick in den Systemaufbau habe und mir auch keinen
verschaffen möchte, kann ich nur aus dem Systemverhalten einige Erfahrungswerte
ableiten.

Und genau das sollte man als Informatiker nicht machen, wenn man die Hintergründe nicht kennt.

Wo kann ich diese Regel nachlesen und wer hat sie aufgestellt?

Also für euch "Informatiker":

Meinst du, das ist die richtige Basis für Fachgespräche, indem du mit den Anführungszeichen die mitdenkenden Informatiker herabwürdigst?

- Der Server hat jetzt 20 CPUs. Systemlast ist derzeit bei 10.72
- NGINX und mariadb mit php-fpm sind optimiert nach systemvorgaben.
- fail2ban auf die Bots gesetzt

Das Problem ist die Datenbank des gelben Forums, weil er bei JEDEM Aufruf der Homepage einen select macht wieviel Topics und messages es gibt.

Vorschlag wäre, ein Duplikat zu machen für Einträge bis 2018 und dann das neue Forum mit 2019/2020 ++ zu bespielen.

Und bitte hört mit den Diskussionen über unsere Fähigkeiten auf. Das tut WEH!

Durch die Art der Kommunikation bisher ist die Frage zu den Fähigkeiten ja erst aufgekommen.
Entweder sind die PN nicht angekommen oder sie wurden nicht gelesen oder sie wurden gelesen, aber nicht beantwortet. Fragestellungen und Probleme in Fachchinesisch , zunächst mit Aufforderung an schreibberechtigte Auskenner dazu Stellung zu nehmen, wäre ein Weg gewesen.
Da hätte sich doch vermutlich schnell ein Kompetenzteam zusammengefunden.
Der Zeitbedarf für die Lösung der Probleme ist offenbar hoch und die zur Verfügung stehende Zeit zu knapp.
Also liegt in Unterstützung eine mögliche Lösung.

Edit: Wie ich sehe, wird sich ja jetzt ausgetauscht. Super.

Wir machen das beste für das Forum und immer wieder Beschwerden für ein KOSTENLOSES Forum.

Wenn ein KOSTENLOSES Forum, was vorher bestens funktioniert hat, in wesentlichen Funktionen nicht funktioniert - dann darf man sich darüber wegen der Kostenlosigkeit nicht beschweren??? - was ist denn das für eine Logik? Zumal signalisiert wurde, eventuell nötige Ausgaben durch Spenden zu übernehmen.

Und es ja nicht so, als wenn sofort extrem ungeduldig herum genörgelt worden wäre.

Deshalb bitte etwas mehr Verständnis für die Beschwerden. Danke.

Gruß Odysseus

Das Archiv ist nun online (200x bis 2017) auf:

https://archiv1.dasgelbeforum.net/

- Dort sind die Mails senden deaktiviert, oder wird gewünscht dass das noch gehen soll ?
- Braucht da jemand noch die Userlogins oder können die auch abgeschaltet werden ?

Wenn wir also die älten Dinge vor 2017 hier löschen würden, glaube ich das das forum wieder schnell wäre. Meinungen ?

Ich verlinke das noch oben.

Also für euch "Informatiker":
- Der Server hat jetzt 20 CPUs. Systemlast ist derzeit bei 10.72
- NGINX und mariadb mit php-fpm sind optimiert nach systemvorgaben.
- fail2ban auf die Bots gesetzt

Das alles ist selbstverständlich sehr sinnvoll, eine Verbesserung wurde damit aber nicht erreicht.
Im Gegenteil. Ich bin mir sehr sicher, dass es zwischen dieser neuen Struktur und der
alten, importieren Umgebung eine Inkompatiblität gibt. Ein Blick in diese Richtung wäre für
dich kein Aufwand.

Das Problem ist die Datenbank des gelben Forums, weil er bei JEDEM Aufruf
der Homepage einen select macht wieviel Topics und messages es gibt.

Die Logistik des php codes entspricht der alten Struktur und die hat sich nicht geändert.
Warum sollten die queries trotz der besseren Systemumgebung nun plötzlich Probleme bereiten?
Ein select() bei dieser Hardwareausstattung und der eher geringen Datenmenge liegt auch
bei komplexen sql injections bei ein paar mS. Wir erleben hier aber einen Response auf
queries von 30 Sekunden und darüber. Woran liegt das?

Vorschlag wäre, ein Duplikat zu machen für Einträge bis 2018 und dann das neue Forum
mit 2019/2020 ++ zu bespielen.

Ich bin der Meinung, dass du in die falsche Richtung tendierst.
Die Datenmenge für dieses Forum ist im Vergleich zu dem, was mySQL oder mariaDB verarbeiten können,
sehr gering. Ein Reduzieren der Daten, indem du die db splittest, wird die Performance wohl verbessern,
das eigentliche Problem aber nicht beheben. Das muß dir klar sein.

Und bitte hört mit den Diskussionen über unsere Fähigkeiten auf.
Das tut WEH! Wir machen das beste für das Forum und immer wieder
Beschwerden für ein KOSTENLOSES Forum.

Ich möchte gerne darauf hinweisen, dass mein Schreiben keine Beschwerde war.
Dieses Schreiben war nichts anderes als die Anmerkung eines Gastes an den Unterkunftgeber,
dass es ins Zimmer regnet und das wertvolle Inventar Schaden nimmt.

Mit freundlichen Grüßen
also

Nachtrag:
Vielleich wurde mit dem Splitting der db ein korrupter Datenbestand entfernt?
14.03.2020 13:20:11
tcp connect() 12mS
query min.320mS, max.650mS
Wenn das so bleibt, wäre es sehr erfreulich

Hallo also,

ich stimme dir voll und ganz zu.

Nach der angewendeten Logik, müsste z.B. Stackoverflow jede Woche einen neuen 'Archivserver' aufsetzen. Bei Stackoverflow sind die Beiträge ähnlich wie hier fast nur Text, jedoch mit mehreren Millionen Zugriffen am Tag.

Hier die Statistik der letzten 30 Tage bei Stackoverflow.

Bei Stackoverflow kann man aber auf Postings seit Gründung 2008 zugreifen, suchen, etc., trotz aktuell ca. 60 Millionen Einträgen, allein nur bei den 'Fragen'. Trotzdem ist alles 'schnell'.

Hier mal ein Vergleich:
PageSpeed Insights einer Stackoverflow Suche

PageSpeed Insights der Landing Page im gelben Forum

Anhand von PageSpeed Insights sieht man nur einige der Probleme des Forums, die nach Außen sichtbar sind.

Von den Stellungnahmen und umgesetzten Schritten, können Leute, die auch nur etwas von der Materie verstehen, ableiten, dass nur an den Symptomen gedoktort wird. Die ursächlichen Probleme werden nicht behoben.

Hallo Susanoo,

danke für die Idee das via Google-Analyse anzusehen.

Wenn man das laufen lässt, wird beispielsweise Folgendes genannt:
1. Code von Fremdanbietern (Werbungschalter,'Tracker', ...) blockiert <<1s
2. JS/JavaScript Ausführungszeiten usw,: 4..11s - abh. ob mit/ohne 'Fremdanbieter'='Werber'-JS

Dazu noch ein Hinweis auf ein paar - relativ kleine - Bilderdateien ohne explizite TTL:
'Statische Inhalte mit einer effizienten Cache-Richtlinie bereitstellen'

Hier beim JS könnte man auf jeden Fall mal 'weiterforschen'.

Grüße

QuerDenker

--
10cc: 'communication is the problem to the answer' <img src= " />

werde wenn möglich, täglich infos geben bis wir jetzt alles in ordnung haben.
bedenkt aber das ich noch andere projekte hauptberuflich betreue, aber jetzt ein paar optimierungen (siehe top post) vorgenommen habe und eure vorschläge prüfe.

--
10cc: 'communication is the problem to the answer' <img src= " />

Es gibt ja schon wieder Leute die mosern, daher will ich jetzt noch 'mal dazuschreiben, dass ich das so, wie es zur Zeit läuft zwar nicht besonders flott finde, aber ausreichend, um einen Betrieb zu ermöglichen.

Grüßlis

--
Mehr Licht!
(Sonstige Anmerkung: bis zum 16.05.2020 war mein Nick 'Zentao')

RSS-Feed dieser Diskussion

31 Sekunden nach Klick auf "Antworten" (oT)

Alternative Notquartier

Das Forum schrammt derzeit an der Grenze zur Unbenutzbarkeit

Volle Zustimmung. Ich spende 100 € für eine fachgerechte Lösung

Es muss an etwas anderem liegen, denn die 'Internet AG' wird sicher 'Internet' können...

Danke für die Infos. Das wirkt auf mich so unter dem Strich überhaupt nicht gut.

Antwort und Bitte an @STS + @Chef_Techniker

Zufallsfund: Gerade war Übergang von 'nur noch Abbrüche/404/Errors' auf 'geht gerade noch' bei grob 1800 Zugriffen (lt. Fußzeile)

Volle Zustimmung - hatte ich auch schon angeregt

Wie gerne hätte ich dir viel eher geantwortet!

Mein Reden seit dem Tag der Umstellung, und Angebot (mT)

Bin da ganz bei dir!

Zustimmung- das Forum hat Corovid-Existenzialis - HAAAAALLLLLOOO Chefetage!! (mT/mL)

Mäßigung bitte..

Danke und Anmerkungen

Laß fahren dahin!

Jau, geht doch

Gab es die problematische Datenbankabfrage bei der alten Forum-Version nicht?

info

DB Query Analyse

Kann man das Zählen der Threads und Posts nicht deaktivieren?

Sicher

Neues Forum + Archiv

Miteinander reden mäßigt ganz automatisch

Archivserver jetzt online

Mäßigung bitte..

Volle Zustimmung

Danke, demnach wäre JS wenigstens nach Aussen hin 'Hauptverzögerer' !?

Update

Danke :)

Danke

Werbung