Haupteingang

3692 readers

1 users here now

Die Standard-Community von feddit.de

In dieser Community geht es ausschließlich um alles rund um die Instanz!

Hast du Fragen? !fragfeddit@feddit.de

matrix chat: !feddit:tilde.fun

founded 3 years ago

MODERATORS

wintermute@feddit.de

favstarmafia@feddit.de

sexy_peach@feddit.de

Darf ich Lemmy für Machine Learning scrapen? (feddit.de)

submitted 2 years ago by stergro@feddit.de to c/main@feddit.de

13 comments fedilink hide all child comments

Reddit hat seine API geschlossen um das Aufbauen von Datenbanken für Sprachmodelle zu verhindern. Da stellt sich die Frage: wie steht das Fediverse und insbesondere Lemmy dazu? Dürfte ich für einen freien Assistenten (z.B. für https://open-assistant.io/) Datensätze auf Basis der subs hier auf Lemmy zusammenstellen?

you are viewing a single comment's thread
view the rest of the comments

[–] kat@feddit.de 1 points 2 years ago (1 children)

Ich glaube technisch kann man es eh nicht verhindern und illegal wäre es meines Wissens auch nicht. Aber vielleicht zielt Deine Frage auch eher auf ethische Aspekte ab? Da finde ich es schon etwas schwierig, weil die Leute, deren Posts dann benutzt würden, ja nicht wirklich um Erlaubnis gefragt wurden. Auf der anderen Seite machen Suchmaschinen auch nichts anderes (und würden sonst gar nicht funktionieren). Schwieriges Thema.

Es wäre praktisch wenn man in seinem Account ein Optin-Flag oder sowas setzen könnte, dass dann ebenfalls über die API auslesbar wäre.

[–] stergro@feddit.de 1 points 2 years ago* (last edited 2 years ago)

Ja es geht eher um die ethischen Aspekte. Gerade als Open Source Projekt ist die Meinung von anderen ja sehr wichtig für den eigenen Erfolg. Open Assistant hat import-Scripte für eine ganze Reihe von frei zugänglichen Quellen. Aber wenn eine Website es nicht will, wird eher nicht gescrapt, selbst wenn es rechtlich möglich wäre.