Data for Wiki2Touch and the scripts to generate your own data

The program Wiki2Touch lets you explore the Wikipedia on your iPod touch or iPhone offline. You don't need WiFi nor any other net. It's fast, has support for tables and templates and shows you formulae rendered in LaTeX. We describe here how to install this program, get your database uploaded and how to generate your own database.

• HowTo Install english
• Data files
  • English - The Free Encyclopedia
  • Deutsch - Die Freie Enzyklopädie
  • Русский - Свободная энциклопедия
  • Español - La enciclopedia libre
  • Italiano - L’enciclopedia libera
  • Français - L’encyclopédie libre
  • Polski - Wolna encyklopedia
  • 日本語 - フリー百科事典
  • Português - A enciclopédia livre
  • Nederlands - De vrije encyclopedie
• Screenshots
• Installationsanleitung deutsch
• Instructions how to generate "your own" wikipedia database
• General download link to sourceforge.net

HowTo install Wiki2Touch - english instructions

If you want to use Wiki2Touch on your iPhone or iPod touch you have to do several steps. So far Apple does not allow background tasks such as a webserver. iPhone OS is of course capable of multitasking, but this would reduce battery life and working speed, if there are too many applications run the same time. So Apple sets the focus on fast startup time of the apps. But for Wiki2Touch (witch is wikisrvd - the WIKIpedia SeRVer Daemon - you watch wikipedia offline with Safari) we need our webserver in the background, so we need a jailbreak :-(

• You need to jailbreak your iPod or iPhone. Google for blackra1n (3.1.2) or redsn0w (3.1.3).
• Install Cydia (or Rock).
• Install wikisrvd using Cydia (or Rock).
• Install SBSettings and Wiki2Touch SBSettings Toggle (or just BosPrefs) using Cydia or Rock.
• Activate OpenSSH in SBSettings or BosPrefs.

Now you need 3 files. In the following the XX stands for your language, you have to replace it with en for englisch, de for german, ru for russian and so on. The first file is named articles_XX.bin and contains all articles of your language including templates, tables, info boxes ... The second file is named images_XX.bin and contains all formulae rendered with LaTeX als PNG-images. Both files have to be copied to the folder /private/var/mobile/Media/Wikipedia/XX on your iPod/iPhone.

The third file is named images.bin and has to be copied into /private/var/mobile/Media/Wikipedia on your device. It is a collection of all images in all articles. For a size of 120px and the german Wikipedia it has a size of 2 GByte, in 240px it is 4 GByte.

To copy your files you need any sftp-Client, for example FileZilla. Check in Settings - WiFi - your connected Network for your IP-Adress (should be something like 192.168.1.15). This is the server you contact in FileZilla, using SFTP - SSH File Transfer Protocol. Your username is root and the password should have been changed by you already in Rock when you installed SSH. Otherwise it is still alpine. Now you can connect, browse to the specific folder and upload the files. Be patient, with encryption you get only some 512 kByte/s upload to your device (2 hours for english wikipedia text). Alternatively you may use iphonefolders, your upload to iPod is 8 MByte/s (16x faster), download from iPod is 2 MByte/s (4 times faster). Additionally there has to be installed afc2add on your iPod (with Cydia).

Data files in english, deutsch, по русский, 日本語, ...

English - The Free Encyclopedia

Copy both files to /private/var/mobile/Media/Wikipedia/en.

Deutsch - Die Freie Enzyklopädie

Kopiere die Artikeldatei (articles_de.bin) und eine der beiden Bilddateien (mit allen Bildern oder nur Matheformeln; umbenannt zu images_de.bin) nach /private/var/mobile/Media/Wikipedia/de. Mehr als 1.000.000 Artikel!

Am 13. März 2010 hatten wir über 160 Downloads der deutschen Artikeldatei, das verursachte bei sourceforge.net 200 GByte Transfervolumen - sie wollten unser Hosting der Binärdateien ohnehin zum Ende der Woche schließen. Jetzt läuft alles über den infodisiac-Server. Die beiden kleineren Dateien habe ich direkt bei depositfiles gespiegelt: articles_de.bin, images_de_math.bin. In zwei tar-Teile gesplittet liegt die große Bilddatei mit 2.6 GByte (Breite max 120, Höhe der Bilder nicht beschränkt) ebenfalls bei depositfiles: T1 und T2.

Hier ist noch eine ältere Version. Es werden zwei Bilddateien benötigt, die images.bin muss ein Verzeichnis höher kopiert werden. In dieser Version ist die Unterstützung kleinerer Bilder etwas besser - aber wir arbeiten daran, dass die neuere Version wieder gleichzieht!

Русский - Свободная энциклопедия

Скопируйте файлы статьи (articles_ru.bin) и один из двух файлов изображений (со всеми изображениями или просто Математические формулы; переименован images_ru.bin) в /private/var/mobile/Media/Wikipedia/ru.

Español - La enciclopedia libre

Copy articles_es.bin and one of the renamed file images_es.bin to /private/var/mobile/Media/Wikipedia/es.

Italiano - L’enciclopedia libera

Copy articles_it.bin and one of the renamed file images_it.bin to /private/var/mobile/Media/Wikipedia/it.

Français - L’encyclopédie libre

The virtual PC in VirtualBox (Win2000 SP4, MikTeX for LaTeX, ActivePerl 5.10.1 for perl scripts, ASP.NET for ImageGetter) is still running to generate these files.

Polski - Wolna encyklopedia

The virtual PC in VirtualBox (Win2000, MikTeX for LaTeX, ActivePerl 5.10.1 for perl scripts, ASP.NET for ImageGetter) is still running to generate these files.

日本語 - フリー百科事典

The virtual PC in VirtualBox (Win2000, MikTeX for LaTeX, ActivePerl 5.10.1 for perl scripts, ASP.NET for ImageGetter) is still running to generate these files.

Português - A enciclopédia livre

The virtual PC in VirtualBox (Win2000, MikTeX for LaTeX, ActivePerl 5.10.1 for perl scripts, ASP.NET for ImageGetter) is still running to generate these files.

Nederlands - De vrije encyclopedie

The virtual PC in VirtualBox (Win2000, MikTeX for LaTeX, ActivePerl 5.10.1 for perl scripts, ASP.NET for ImageGetter) is still running to generate these files.

Boarisch - De freie Enzyklopädie

Beide Dateien nach /private/var/mobile/Media/Wikipedia/ba kopieren.

Screenshots

This is how Wiki2Touch looks like on your iPod touch (click to enlarge):

You see: support for templates, infoboxes, pictures, formulae, sketches, kyrillic and arabic letters, ...

Pictures use the 4GByte file with 240px images in the german wikipedia.

Installationsanleitung auf deutsch

Wenn du Wiki2Touch auf deinem iPhone oder iPod touch verwenden möchtest, must du dein Gerät in mehreren Schritten vorbereiten. So du mit dieser Anleitung nicht klarkommst - es gibt auch noch eine:

Schritt-für-Schritt Anleitung für Dummies.

Zurzeit erlaubt Apple noch keine Anwendungen, die im Hintergrund laufen - wie zum Beispiel ein Webserver. Natürlich ist iPhone OS multitaskingfähig. Doch würde Apple die Benutzung für alle Apps freischalten, so hätte es starke Auswirkungen auf die Batterielaufzeit und Arbeitsgeschwindigkeit. So manches Mal würde das System eine Denkpause einlegen - nach dem Jailbreak ist es zu beobachten. Apple setzt daher vorerst auf kurze Startzeiten für verschiedene Anwendungen, die dann vollständig beendet werden. Für Wiki2Touch brauchen wir aber einen im Hintergrund laufenden Webserver (wikisrvd - WIKI SeRVer Dämon), daher kommen wir (noch) um den jailbreak nicht herum :-(

• Zunächst musst du einen Jailbreak an deinem iPod oder iPhone (iPad ?) vornehmen. Google einfach mal nach blackra1n (3.1.2) oder redsn0w (3.1.3).
• Installiere Cydia (oder Rock).
• Installiere wikisrvd mit Cydia oder Rock.
• Installiere SBSettings und Wiki2Touch SBSettings Toggle (oder einfach BosPrefs) mit Cydia oder Rock.
• Aktiviere OpenSSH in SBSettings oder BosPrefs.
• Alternative zur Datenübertragung: iphonefolders über das USB-Kabel (schneller, dazu muss auf dem iPod noch afc2add installiert werden).

Nun benötigst du noch 3 weitere Dateien. Hier kann ich den Namen ja ausschreiben, für andere Sprachen einfach das de durch die passende Sprache ersetzen. Die erste Datei ist articles_de.bin und enthält alle Artikel, Infoboxen, Vorlagen und Kategorien ... Die zweite Datei heißt images_de.bin und enthält alle Formeln, die mit LaTeX gerendert und als PNG-Bilddateien gespeichert wurden. Beide Dateien müssen in den Ordner /private/var/mobile/Media/Wikipedia/de auf deinem iPod/iPhone kopiert werden.

Die dritte Datei ist images.bin und muss nach /private/var/mobile/Media/Wikipedia kopiert werden. Sie beinhaltet alle Bilder in allen Artikeln. Sie wurde in zwei Varianten kompiliert. Mit einer Zieldateigröße von 120 Pixeln ist sie 2 GByte groß, bei 240 Pixeln sind es etwa 4 GByte.

Um die Dateien zu kopieren benötigst du einen sftp-Client, zum Beispiel FileZilla. Überprüfe auf deinem iPod/iPhone die Einstellungen - Wi-Fi - dein verbundenes Netzwerk um deine IP-Adresse zu erhalten. Es sollte etwas wie 192.168.1.15 sein. Zu dieser Adresse/server verbindest du dich mit FileZilla via SFTP - SSH File Transfer Protocol. Dein Nutzername ist root und das Passwort solltest du schon geändert haben, als du OpenSSH mit Rock installiert hast. Sonst ist es immer noch alpine. Du kannst dich nun verbinden, zu dem richtigen Verzeichnis browsen und die Dateien hochladen. Du brauchst etwas Geduld, wegen der Verschlüsselung geht die Verbindung kaum über 512 kByte/s hinaus. Die Bilddatei mit 4 GByte braucht dann fast 2 Stunden - das Ladekabel muss also ran.

HowTo generate your own database from your favourite wikipedia

If you want to generate your own images_XX.bin files from a wikipedia dump, you can use the indexer.exe. Norbert described how to use all the Perl-Scripts, TexNicCenter, MikTEX and other related stuff. See here:Wiki2Touch files at infodisiac.com

Description here will follow. You need to install perl, LaTeX (MikTeX) and TeXnixCenter on your computer. So far all programs only work for Windows, WINE is not yet tested. We are still fixing some details in the perl-script. There will be programs to be installed and data to be copied to your main database folder. The script will then download a database dump of your wikipedia, the files can be huge (see: Backup Index at download.wikipedia.org). After that you have to give your computer some time - up to 100 hours - to index the database and generate all LaTeX-files.

Download

For all files just click on the button:

Bekannte Fehler (wird soweit möglich abgearbeitet)

• Ein <br /> innerhalb einer Referenz <ref> ... </ref> führt zur Anzeige der des Referenztextes nach dem br. (z.B. "Elektronegativität", Abschnitt "Tabelle der Werte nach Pauling")
• Einige Artikel werden nicht angezeigt, obwohl sie im index enthalten sind (z.B. "Halogenlampe").
• Einige SVGs werden nicht richtig dargestellt (z.B. "FC Carl Zeiss Jena" - die Trikots in der Infobox)
• Aktuell fehlen die kleinen Bilddateien in der images_de.bin (z.B. das BKL-Logo) - Abhilfe schafft jemand, der den ImageGetter neu schreibt. Anhand einer Liste "images.txt" ruft man die Bilddateien bei der Wikipedia in der gewünschten Größe ab und speichert sie unter /images ab. Wer schreibt das perl-script?

Gelöste Probeme

• Zeilenwechsel CR LF oder eben nur \n ist in html ein Leerzeichen, nach indexer allerdings zusammengefasst zu einem Wort. (z.B. "Residuenkalkül") - Lösung: Wahrscheinlich auch Zeile 41 wie in den beiden nachfolgenden Fehlern. Kein weiteres Beispiel bekannt, an SC erfolgreich gestestet. 2010/03/19 mk
• Hochstellung in Wikipedialinks wird zur Gesamthochstellung und Anzeige des </sup>-Quelltextes. (z.B. "Benzol", Abschnitt "Spektroskopische Eigenschaften" - [[Kernspinresonanz|¹H-NMR-Spektrum]])- Gleiche Lösung wie im nachfolgenden Problem. 2010/03/18 mk
• Geschlossene (unbekannte) tags wie </tt> oder </span> werden vom indexer manchmal umgewandelt (<-tt> und <-span>) und erfüllen danach nicht mehr ihre Funktionalität als html-Tags (z.B. "Wladimir Wladimirowitsch Putin"). - Zeile 41 des scriptes w2timages ruft eine Ersetzung mit einem regulären Ausdruck auf: $aLink =~ s/\//\-/g ; Nachdem dieser mit # auskommentiert wurde, ist der Fehler behoben. 2010/03/18 mk
• Artikel ist links abgeschnitten, läßt sich nicht scrollen. (z.B. "Wolf") - Mit dem neuerstellten articles_de.bin ist der Artikel besser formatiert und alles lesbar. Allerdings läßt er sich immer noch nicht seitwärts scrollen, Formatierung ist auch noch nicht perfekt - template error. 2010/02/20 mk

Dank an:

Natürlich möchten wir hier nicht vergessen, den Personen zu danken, die dieses Programm möglich gemacht haben:

• Erik Zachte für die Perlprogramme, er hat die Wikipedia für PDAs unter TomeReader nutzbar gemacht.
• Tom H. für das Programm Wiki2Touch (also den kleinen wikisrvd - ehemals WikiServer), den Indexer und den ImageGetter.
• Norbert Jaspers ebenfalls für die Perlprogramme, die Umprogrammierung von Eriks Programmen für Wiki2Touch, die Mathe-Images-Progamme, Kategorien, ...

© 2009-2010 saiht, dank der Hilfe von Erik Zachte, Norbert Jaspers und Tom H. Last updated: 2010/03/14 some statistics