Wir alle sind immer irgendwo in unserer eigenen, kleinen Blase unterwegs und verfolgen unsere eigenen Themen. Ich würde gerne einen Einblick von euch bekommen, was gerade bei euch so abgeht, passiert, etc. Was rollt auf euch zu? Was beschäftigt eure Branche gerade am meisten? Jetzt gerade und perspektivisch?
Ich z.B. arbeite im Verlagswesen. Bei uns findet gerade wegen KI ein großer Umbruch im ganzen publishing Bereich statt. Außerdem: Jedes Unternehmen - egal ob die Volksstimme in der Börde oder die NYT - sucht gerade alternativen zur Typischen Paywall. Alle wissen, dass das kein langfristiges Konzept ist, was die Branche trägt.
Schöne Idee! Ich bin Informatiker und stehe kurz vorm Abschluss meines Masters. Ehrlich gesagt, sind die KIs und und im Speziellen LLMs, wie GPT und LLaMA et cetera bei mir auch täglich sehr präsent. Obwohl ich KI, und nicht nur die neuronale Herangehensweise, auf jeden Fall interessant finde, kann ich diesen Hype langsam nicht mehr hören. Zum Glück konnte ich, als ich noch Vorlesungen besuchen musste, noch einige Module ohne KI-Schwerpunkt wählen. Aber das ist auf meiner Uni jetzt vorbei. Die neuronalen Netze entwickeln sich aus meiner Perspektive langsam zum Blockchain-Phänomen, bei dem auf alles neuronale Netze geworfen werden, weil es gerade en vogue ist, auch wenn das gar keinen Sinn ergibt und die ganzen Ex-Kryptobros und Entrepeneure dummschwätzen, wie unfassbar sinnvoll es sei, auf alles KI zu klatschen. Ich vermisse die Zeit, in der bestimmte Dinge auch einfach mal sauber ausprogrammiert wurden und man sich mit der Mathematik an sich auseinandergesetzt hat. Wenn diese Herangehensweise eine Lösung ist, dann ist sie sehr häufig nämlich viel energiesparsamer und im Gegensatz zu den neuronalen Netzen, kann man den Systemzustand analysieren und verstehen, warum ein Algorithmus etwas macht. Ich bin gespannt, wie es weiter geht, vor allem aber, was ihr in anderen Bubbles so zu erzählen habt.
Hör bloß auf, ich bin der Machine-Learing-Sparte tätig und es geht mir so auf den Sack. Viele Unternehmen kriegen es nicht mal hin ihre Daten vernünftig zu halten (20 Excel-Tabellen mit 21 verschiedenen Schemata sind keine ordentliche Datenhaltung) und wollen jetzt auf einmal krass KI machen.
Ich hoffe einfach, dass Dinge die LLMs gut können, z.B. dummschwatzen, bald als obsolet angesehen werden und wir es einfach lassen. Wir schön wäre eine Welt ohne Bewerbungsschreiben.
Wie siehst du als ML Ingenieur die Entwicklung zu mehr Einheitsbrei durch ML Systeme? Also ist das tatsächlich auch außerhalb der inzwischen madigen Google Suchergebnisse gegeben und ein langfristiges Problem, oder ist das eher ein Ausnahmefall oder technisch gut lösbar?
Ich weiß jetzt nicht worauf genau du mit Einheitsbrei anspielst, aber ich habe neulich einen Artikel gesehen wo es darum ging, dass zukünftiges Training von LLMs ein Problem haben könnte, wenn in den Trainingsdaten aus dem Netz haufenweise halbgarer KI-Content dabei ist.
Ansonsten ist mein Feld eher mit Sensordaten aus Industriemaschinen beschäftigt. Da gibt’s bis jetzt zum Glück keine KI die Daten generiert.
Einheitsbrei bezogen darauf, dass statistische Systeme zu Mittelwerten tendieren, was z.B. bei Suchanfragen bedeutet, dass es schwieriger wird spezifische Infos zu finden. habe z.B. gerade einen Namen googlen müssen, um das Geschlecht herauszufinden. Name + gender als Suchanfrage hat mir dann zig Artikel zu gendergerechter Sprach ausgegeben, weil das so viel stärker mit dem Begriff vom System assoziiert wird, als eine Webseite zu finden, wo der gesuchte Name beschrieben ist.
Das für LLMs dann das Problem wird, dass sie auf ihrem eigenen halbgaren Content trainieren ist spannend, wobei ich fürchte das ein ähnliches Ergebnis wie bei den Sichanfragen rauskommt. Also weniger spezifische Antworten, weil deine 1% Anfrage nicht gegen die 60% Anfragen ankommen kann.
Zu den Sensordaten, trainiert ihr Modelle, die schon ein gewisses Physikverständnis hardgecoded haben, oder betrachtet ihr die Maschinen als Blackbox was Input/Output angeht?
Tut mir Leid, wenn ich dich mit Fragen zu ML überfalle.
Ach kein Ding. Wenn ich keinen Bock mehr habe, antworte ich einfach nicht mehr.
Ich denke, du hast grundlegend Recht, aber hier musst du sehen, dass es sich nicht um marginale Verteilungen handelt, sondern um bedingte. Deine Suchanfrage oder der Prompt des LLM sind die Bedingung der gelernten Verteilung. Ich denke es wird eher darauf hinauslaufen diese Bedingung so genau wie möglich zu formulieren. Dadurch bekommt man dann auch ein Sample aus der Verteilung die man wollte.
Wir arbeiten bei unseren Modellen noch komplett datengetrieben. Die Maschinen sind so unterschiedlich, dass es eine Sisyphosaufgabe wäre jede einzelne zu physikalisch zu modellieren. Langfristig werden wir wohl nach Clustern suchen und diese ähnlichen Maschinen zusammen modellieren.
Aufgrund persönlicher Kontakte in eines der wichtigen Bundesministerien kann ich euch verraten: Da gibt es eine Staatssekretärin, die ihre Leute damit beauftragt, eine KI zum Redenschreiben zu bringen. Die Mitarbeiter verzweifeln jetzt schon, die Zuhörer dann später.