Motivation

Die Idee von Crowd-Computing ist, die    „kollektive Intelligenz“ von realen Personen zur Lösung  von Aufgaben einzusetzen, die nicht automatisch lösbar sind. Entsprechende Aufgaben können auf einer Crowd-Plattform wie Amazon Mechanical Turk (MTurk) veröffentlicht und dort von realen Menschen, sogenannten Crowd-Workern, bearbeitet werden. Im Gegenzug erhalten die Crowd-Worker vom Aufgabensteller eine monetäre Entlohnung. Das Anwendungsspektrum von Crowd-Computing ist sehr breit und reicht von kleinen und  einfachen Aufgaben wie die Annotation von Bildern bis hin zu komplexen Aufgaben wie das Schreiben von Artikeln.

Das Ziel unserer Forschung ist es zu untersuchen, ob und unter welchen Umständen Crowd-Worker zur Generierung von kreativen und lustigen Inhalten eingesetzt werden können. Aufgaben können dabei beispielweise das Schreiben  eines lustigen Spruches für Sitcoms oder das Kreieren eines neuen Fotowitzes sein. Allerdings kann der Aufgabensteller nicht sicher sein, dass die Crowd-Worker auch Inhalt in der gewünschten Qualität liefern.  Daher müssen geeignete Qualitätssicherungsverfahren umgesetzt werden wie beispielsweise eine Bewertung der abgelieferten Inhalte durch weitere Crowd-Worker. 

Aufgaben

Ziel dieses PSE-Projektes ist es, eine serverbasierte Software-Infrastruktur zu schaffen, die als Forschungsplattform zur Planung und  Durchführung von Experimenten genutzt werden kann. Dabei soll die Plattform den Aufgabensteller bei der Bereitstellung, Bewertung und Auswertung der Aufgabe unterstützen.

Der erste Schritt ist die Bereitstellung der Aufgabe auf der Crowd-Plattform MTurk. Dazu muss eine Aufgabenstellung und eine Reihe von Parametern wie die Höhe der Bezahlung festgelegt, eine entsprechende Webseite generiert und anschließend als sogenannter externer HIT an die Crowd-Plattform übergeben werden. Anschließend haben die Crowd-Worker die Möglichkeit, die Aufgabe zu bearbeiten und ihre Antworten einzusenden. Um sicherzustellen, dass die Crowd-Worker möglichst einfallsreiche und lustige Antworten einsenden, sollen die eingegangenen Antworten durch andere Crowd-Worker bewertet werden. Zur Bewertung der Antworten soll das zu erstellende System automatisch neue Bewertungsaufgaben für die Crowd-Worker erstellen und ebenfalls auf der Crowd-Plattform veröffentlichen. Wenn die gewünschte Anzahl an Antworten eingegangen ist und diese auch die gewünschte Qualität haben, soll abschließend die Aufgabe ausgewertet werden. Zur Auswertung gehören dabei unter anderem die Bezahlung der Crowd-Worker nach vorher festgelegten Bedingungen und die Erstellung einfacher Statistiken.

Die umgesetzte Software-Infrastruktur wollen wir dann bei der Durchführung von Forschungsexperimenten mit verschiedenen Parametern und Bedingungen einsetzen.  Daher steht die Entwicklung einer möglichst modular gestalteten Lösung mit hoher Flexibilität und einfacher Erweiterbarkeit im Vordergrund. Ein graphisches User-Interface für den Aufgabensteller ist optional.