Autor Thema: FindDupes  (Gelesen 17262 mal)

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
FindDupes
« am: 10. April 2008, 23:08:46 »
Hallo,
dies ist ein kleines .cmd Programm zum Auffinden doppelter Strings in der Sprachdatei.

Es legt eine zusätzliche Datei exist_langpack_german.txt an, in welcher doppelte Strings gespeichert werden.
(nein, wiso da auch einzelne Strings auftauchen ist mir gerade auch noch nicht so ganz klar :(


Download des Skripts & Auswertung der heutigen Sprachdatei im Anhang 8)

(c)
original code: http://svn.miranda.im/langpack/FindDupes.cmd
kleinere Anpassungen von mir

[gelöscht durch Administrator]
Ashes to ashes, dust to dust.

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #1 am: 12. April 2008, 09:28:28 »
UND? Solange:
a)Stur die Ausgaben dieses LP-Text-Dingsbums-Tools übersetzt werden, OHNE die Datei Core zu öffnen, wird Add, Undo, Background Colour, ... jedes mal immer wieder neu übersetzt.
b)Sich kaum jemand überlegt ob Texte in der Datei Core nicht besser aufgehoben wären.
c)Bei längeren Übersetzungstexten noch nicht einmal nachgesehen wird ob der Text, in der selben Datei, bereits übersetzt ist.
d)Sich nicht auf die Übersetzung der aktuellen Stable oder Testing beschränkt wird, sondern da noch Texte von Miranda 0.3.1 zu finden sind.

bleibe ich nach wie vor bei meiner Meinung das ca. 30%, oder mehr, in der Sprachdatei Müll sind.

(Siehe auch http://forum.miranda-im.de/index.php?topic=6174.0 )
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #2 am: 01. Mai 2008, 21:36:57 »
Also das mit der selektiven Pluginauswahl ist meiner meinung nach ziemlich kontraproduktiv in bezug auf diese doppelten strings, es wurden schon einige von mir entfernte duplikate mehrfach wiederhergestellt :'(

Bin für die Abschaffung der selektiven Pluginauswahl
Ashes to ashes, dust to dust.

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #3 am: 01. Mai 2008, 21:59:44 »
Das hatten wir doch schonmal, oder?
(Der entsprechende Thread wurde anscheinend gelöscht, oder ich finde ihn nicht mehr)

Ich kann mich jetzt leider nicht mehr an die Gründe dafür erinnern, nur folgende Gründe dürften es nicht gewesen sein:
-Miranda? Also Miranda läuft mit oder ohne einer kompletten Sprachdatei mit der selben Geschwindigkeit
-Größe? Die gesammte Datei  ist jetzt ~1MB groß, ein handelsüblicher USB-Stick hat mindestetens 1GB, also kann das auch nicht der Grund sein.

Ich könnte mir höchstens vorstellen, dass eventuell irgendjemand irgendein Plugin, warum auch immer, nicht übersetzt haben möchte, sondern es lieber auf englsich hat.

Peter
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #4 am: 01. Mai 2008, 22:08:20 »
Das hatten wir doch schonmal, oder?
(Der entsprechende Thread wurde anscheinend gelöscht, oder ich finde ihn nicht mehr)

Ich kann mich jetzt leider nicht mehr an die Gründe dafür erinnern, nur folgende Gründe dürften es nicht gewesen sein:
-Miranda? Also Miranda läuft mit oder ohne einer kompletten Sprachdatei mit der selben Geschwindigkeit
-Größe? Die gesammte Datei  ist jetzt ~1MB groß, ein handelsüblicher USB-Stick hat mindestetens 1GB, also kann das auch nicht der Grund sein.

Ich könnte mir höchstens vorstellen, dass eventuell irgendjemand irgendein Plugin, warum auch immer, nicht übersetzt haben möchte, sondern es lieber auf englsich hat.

Peter
Der Hauptgrund waren wohl konflikte zwischen verschiedenen übersetzungen ("Clear" für Weather/IRC).

nur bin ich dafür das "Feature" rauszunehmen, SO laufen wir wirklich Gefahr zu viele Duplikate zu bekommen, und die komplette Version von der Addon Seite wird SO auch nicht wirklich getestet :(

BTW hab mir den code mal angesehen und einiges auskommentiert, kanns nur hier nich testen ohne mir irgendwo ein komplettes mediawiki zu installieren
Ashes to ashes, dust to dust.

Hajuskin

  • Forenjunkie
  • *
  • Beiträge: 1.599
  • Geschlecht: Männlich
    • Profil anzeigen
Re: FindDupes
« Antwort #5 am: 02. Mai 2008, 01:42:30 »
Um einen Eindruck davon zu bekommen, wieviel Ballast mitgeschleppt wird, hab ich die aktuelle Sprachdatei mit einem kleinen Programm etwas genauer analysiert.
Hier die Zusammenfassung: (die ausführliche Auswertung im Anhang)
Zusammenfassung für C:\Users\Hajuskin\Desktop\langpack_german.txt
 39291 Zeilen gesamt
 16063 Übersetzungen gefunden
 13577 sinnvolle Übersetzungen
   444 unnötige Übersetzung "[Text]" = "Text" (300 verschiedene)
  1160 mehrfach übersetzte Einträge (insgesamt 2208 Einträge)
Demnach sind rund 15,5% der Einträge überflüssig, weil sie doppelt vorkommen oder keine tatsächliche Übersetzung bieten. Dazu kommen dann noch die Übersetzungen, die von den Plugins gar nicht mehr benötigt werden. Wie groß dieser Anteil ist, kann ich nicht abschätzen.


[gelöscht durch Administrator]

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #6 am: 02. Mai 2008, 08:22:57 »
Keine Ahnung, wie man da eine genau Zahl ermitteln könnte,
aber z.B. bei Jabber könnte man sich ja einmal die aktuelle stable und einmal die aktuelle Testing installieren, und dann jeweils mit diesem LanguagepackCreator plugin eone Übersetzung erstellen,
alles was da dann übrig bleibt ist Müll.

Peter
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #7 am: 02. Mai 2008, 13:47:17 »
Um einen Eindruck davon zu bekommen, wieviel Ballast mitgeschleppt wird, hab ich die aktuelle Sprachdatei mit einem kleinen Programm etwas genauer analysiert.
Hier die Zusammenfassung: (die ausführliche Auswertung im Anhang)
Zusammenfassung für C:\Users\Hajuskin\Desktop\langpack_german.txt
 39291 Zeilen gesamt
 16063 Übersetzungen gefunden
 13577 sinnvolle Übersetzungen
   444 unnötige Übersetzung "[Text]" = "Text" (300 verschiedene)
  1160 mehrfach übersetzte Einträge (insgesamt 2208 Einträge)
Demnach sind rund 15,5% der Einträge überflüssig, weil sie doppelt vorkommen oder keine tatsächliche Übersetzung bieten. Dazu kommen dann noch die Übersetzungen, die von den Plugins gar nicht mehr benötigt werden. Wie groß dieser Anteil ist, kann ich nicht abschätzen.

Interessant, wie hast du das gemacht?
Ashes to ashes, dust to dust.

Hajuskin

  • Forenjunkie
  • *
  • Beiträge: 1.599
  • Geschlecht: Männlich
    • Profil anzeigen
Re: FindDupes
« Antwort #8 am: 02. Mai 2008, 15:45:10 »
Ich hab auf die Schnelle ein kleines C# Programm geschrieben.
Es sucht entweder im Programmverzeichnis nach der langpack_german.txt oder man übergibt die Sprachdatei als Parameter. Das Programm erstellt 2 Dateien, einmal die stats_* mit der Auflistung der doppelten und unnötigen Einträge und die clean_* mit den gültigen Einträgen der Sprachdatei.

-edit-
@lastwebpage: Meinst Du mit dem "LanguagepackCreater Plugin" das Translator-Plugin? Ich hab mir auch schon überlegt, ob es damit nicht möglich wäre, unnötige Strings auszusortieren. Aber da Translator nur Strings findet, wenn sie tatsächlich übersetzt werden sollen, kann man sich nicht sicher sein, dass nichts übersehen wird (z.B. seltene Fehlermeldungen oder Wetterbedingungen).

[gelöscht durch Administrator]
« Letzte Änderung: 02. Mai 2008, 16:55:45 von Hajuskin »

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #9 am: 02. Mai 2008, 16:24:47 »
Ich hab auf die Schnelle ein kleines C# Programm geschrieben.
Es sucht entweder im Programmverzeichnis nach der langpack_german.txt oder man übergibt die Sprachdatei als Parameter. Das Programm erstellt 2 Dateien, einmal die stats_* mit der Auflistung der doppelten und unnötigen Einträge und die clean_* mit den gültigen Einträgen der Sprachdatei.
Dankeschön, nun sind es nur noch 833KB :o

Man könnte die clean Datei umbennennen und auf die Addons Seite laden :)

BTW habe versucht, diese überprüfung aus dem Langpack creator rauszunehmen, habe nur keine vernünftige testmöglichkeit :(

[gelöscht durch Administrator]
Ashes to ashes, dust to dust.

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #10 am: 02. Mai 2008, 17:48:31 »
Ich habe das z. Zt. des LP Creators hiermit gemacht:

-Texteditor
-http://www.apachefriends.org/en/xampp-windows.html
-http://www.mediawiki.org/wiki/Download

Die Überprüfung würde ich aber evtl. doch drin lassen, nur eben so, dass er wenn nur die fehlerhafte Datei anzeigt.

Peter
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #11 am: 02. Mai 2008, 17:51:42 »
Ich habe das z. Zt. des LP Creators hiermit gemacht:

-Texteditor
-http://www.apachefriends.org/en/xampp-windows.html
-http://www.mediawiki.org/wiki/Download

Die Überprüfung würde ich aber evtl. doch drin lassen, nur eben so, dass er wenn nur die fehlerhafte Datei anzeigt.

Peter
Wärst du so freundlich meinen code aus dem anhang zu testen? :)
an der überprüfung sollte sich nichts geändert haben...
Ashes to ashes, dust to dust.

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #12 am: 02. Mai 2008, 18:05:26 »
ob ich mir jetzt den ganzen Kram wieder installiere und versuche ans laufen zu bekommen, oder du  :D
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #13 am: 02. Mai 2008, 18:11:25 »
ob ich mir jetzt den ganzen Kram wieder installiere und versuche ans laufen zu bekommen, oder du  :D
Du hast damit mehr Erfahrung ;)
Ashes to ashes, dust to dust.

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #14 am: 02. Mai 2008, 18:33:37 »
:|
dieses XAMPP beißt sich bei mir irgendwie mit Vista, wie ich gerade feststellen muss.
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #15 am: 02. Mai 2008, 18:52:17 »
:|
dieses XAMPP beißt sich bei mir irgendwie mit Vista, wie ich gerade feststellen muss.
"Vista Note: Because missing or insufficient write permissions in the c:\program files folder of the default vista installation, we recommend to use alternate folders for XAMPP e.g. c:\xampp or c:\myfolder\xampp."

Hast du das beachtet?
Ashes to ashes, dust to dust.

lastwebpage

  • Suche Umschulung zum Wahrsager! Brauche Geld!
  • Administrator
  • ***
  • Beiträge: 3.203
  • Lesen bildet!
    • Profil anzeigen
Re: FindDupes
« Antwort #16 am: 02. Mai 2008, 18:54:37 »
ja...

EDIT: Wo es genau liegt, da bin ich mir nicht 100% sicher, Vista, IE8.0 oder sonst irgendwas, auf jeden fall bekomme ich die Startseite von XAMPP nicht angezeigt. :|
« Letzte Änderung: 02. Mai 2008, 20:11:16 von lastwebpage »
Die Realität, die andere Realität, die Absurdität, mach es zu deinem Projekt!

Striker53

  • Tutorienschreiber
  • *
  • Beiträge: 102
    • Profil anzeigen
    • Miranda SE
Re: FindDupes
« Antwort #17 am: 03. Mai 2008, 14:18:09 »
444 unnötige Übersetzung "[Text]" = "Text" (300 verschiedene)
Hi,

dieses Problem dürfte doch leicht, bis auf die Mühe, lösen zu sein oder? Ist es ok wenn ich im Wiki so welche Einträge lösche?

MfG Striker53

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #18 am: 03. Mai 2008, 15:24:04 »
Ist es ok wenn ich im Wiki so welche Einträge lösche?
Ja, gerne :) (nur bitte nicht in Sprachdatei:Core im bereich A-...-Z)
Ashes to ashes, dust to dust.

Striker53

  • Tutorienschreiber
  • *
  • Beiträge: 102
    • Profil anzeigen
    • Miranda SE
Re: FindDupes
« Antwort #19 am: 03. Mai 2008, 16:16:44 »
Hi,

danke FREAK_THEMIGHTY :). Zur info: Ich habe jetzt A durch (warte bis ich wieder speichern kann) und bei miranda-im.de/mediawiki/index.php?title=Sprachdatei:Avatar_service ist mir was lustiges aufgefallen:
Zitat
; Übersetzung: Dober am 10.11.05
; Update: FREAK am 16.10.05
Naja, ich mache auf jeden fall weiter... :)

MfG Striker53

Weishaupt

  • Der Sprachliche
  • Showmaster
  • *
  • Beiträge: 634
  • Geschlecht: Männlich
  • Just a fukin' Freak
    • Profil anzeigen
    • Miranda IM auf Deutsch
Re: FindDupes
« Antwort #20 am: 03. Mai 2008, 19:09:51 »
Noch ne Info: Doppelte Einträge sollten am besten in den Core verschoben werden. Nicht, das am Ende jemand eine Spachdatei vom Core und den Plugins runterläd, die er besitzt und die hälfte ist nicht mehr übersetzt.

MfG.
Mundus Vult Decipi

Hajuskin

  • Forenjunkie
  • *
  • Beiträge: 1.599
  • Geschlecht: Männlich
    • Profil anzeigen
Re: FindDupes
« Antwort #21 am: 03. Mai 2008, 22:19:00 »
Auf Anfrage von Striker53 hab ich das Programm etwas abgeändert, jetzt wird in der Liste der doppelten Einträge hinter jeder Übersetzung das zugehörige Plugin angegeben. So weiss man, ob der Eintrag schon in der Core-Sprachdatei vorhanden ist und in welcher Sprachdatei man die doppelten entfernen kann.

[gelöscht durch Administrator]
« Letzte Änderung: 03. Mai 2008, 22:21:36 von Hajuskin »

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #22 am: 03. Mai 2008, 22:51:09 »
Auf Anfrage von Striker53 hab ich das Programm etwas abgeändert, jetzt wird in der Liste der doppelten Einträge hinter jeder Übersetzung das zugehörige Plugin angegeben. So weiss man, ob der Eintrag schon in der Core-Sprachdatei vorhanden ist und in welcher Sprachdatei man die doppelten entfernen kann.
Danke schön, das ist hilfreich :)

Das Problem ist für mich aber nach wie vor
Nicht, das am Ende jemand eine Spachdatei vom Core und den Plugins runterläd, die er besitzt und die hälfte ist nicht mehr übersetzt.

Ich habe in TABsrmm nun schon 3mal doppelte strings entfernt und weigere mich es ein viertes Mal zu tun :(
jmd da der sich mit mediawiki skripten auskennt?


Dankeschön auch an Striker53 :)

PS: Wäre eine nach plugin sortierte auflistung machbar, hajuskin?

also
doppelte strings in plugin XYZ
« Letzte Änderung: 03. Mai 2008, 22:55:44 von FREAK_THEMIGHTY »
Ashes to ashes, dust to dust.

Hajuskin

  • Forenjunkie
  • *
  • Beiträge: 1.599
  • Geschlecht: Männlich
    • Profil anzeigen
Re: FindDupes
« Antwort #23 am: 04. Mai 2008, 01:52:16 »
PS: Wäre eine nach plugin sortierte auflistung machbar, hajuskin?

also
doppelte strings in plugin XYZ

Ja, aber das Programm dafür umzuschreiben ist zu kompliziert. Ich schreib noch mal eine neue Version, die nicht zwischen doppelten oder unnötigen Übersetzungen unterscheidet, sondern einfach die Texte ausgibt, die aus der Sprachdatei entfernt werden können, das kann ich dann je nach Wunsch sortieren.

Wishmaster

  • FREAK_THEMIGHTY
  • Globaler Moderator
  • **
  • Beiträge: 4.628
  • Geschlecht: Männlich
  • Wahnsinniger
    • Profil anzeigen
Re: FindDupes
« Antwort #24 am: 04. Mai 2008, 10:50:09 »
PS: Wäre eine nach plugin sortierte auflistung machbar, hajuskin?

also
doppelte strings in plugin XYZ

Ja, aber das Programm dafür umzuschreiben ist zu kompliziert. Ich schreib noch mal eine neue Version, die nicht zwischen doppelten oder unnötigen Übersetzungen unterscheidet, sondern einfach die Texte ausgibt, die aus der Sprachdatei entfernt werden können, das kann ich dann je nach Wunsch sortieren.
Danke :)

könntest du auch machen, dass er ab dem 1. vorkommen alle doppelten strings aus der original datei entfernt, sonst nichts?
Dan könnte man maleinen GROSSEN massen-update machen :)
Ashes to ashes, dust to dust.