Bei der diesjährigen Konferenz des Netzwerk Recherche beim NDR habe ich bei der Veranstaltung "Beyond the Leaks: Sind die investigativen Tools reif für den Newsroom?" einige neue integrierte Open Source Recherche-Tools der freien Suchmaschine Open Semantic Search zum Durchsuchen von Dokumentenbergen, Archiven und Leaks vorgestellt.

How to open, analyse and extract the text of unknown file formats by the open source tool Apache Tika:

You don't know how to open an unknown file or file format that can not be opened by other installed tools to read its content or analyse its file format?

You can use the open source tool Apache Tika for extracting meta data and text from different file formats.

How to search and analyze big leaks like Panama Papers by open source research tools and open data without posting sensitive documents and search queries to cloud services.

Die neue Version des Userinterfaces für Suche und Analyse der als Open Source Software frei verfügbaren Suchmaschine Open Semantic Search integriert nun weitere Datenvisualisierungen zur Visualisierung von Verbindungen und Netzwerken bzw. Graphen.

Dadurch wird ersichtlich, welche Entities wie z.B. Personen, Organisationen oder Tags mit welchen anderen zusammen in wie vielen Dokumenten vorkommen und damit Verbindungen und Zusammenhänge oder Gemeinsamkeiten und Ähnlichkeiten leichter sichtbar.

Die neue virtuelle Maschine Open Semantic Desktop Search ermöglicht nun auch auf einzelnen Desktop Computern oder Notebooks mit Windows oder iOS (Mac) die Suche und Analyse von Dokumenten mit der Suchmaschine Open Semantic Search.

Ob grösserer Leak oder Zusammenwürfeln oder wieder Erschliessen umfangreicherer (kollaborativer) Recherche(n) oder Archive: Hin und wieder müssen größere Datenberge bzw. Dokumentenberge erschlossen werden, die so viele Dokumente enthalten, dass Mensch diese Masse an Dokumenten nicht mehr alle nacheinander durchschauen und einordnen kann.

Moderne Tools zur Datenanalyse in Verbindung mit Enterprise Search Suchlösungen und darauf aufbauender Recherche-Tools helfen (halb)automatisch.

Sogenanntes Social Tagging (kollaboratives Verschlagworten, Klassifizieren oder Kategorisieren) oder das Anhängen von Informationen oder Notizen (Annotieren) kann bei (kollaborativen) investigativen Recherchen sehr hilfreich sein, um nicht direkt auffindbare Inhalte besser auffindbar zu machen, indem sie auch über die zusätzlichen und bis dahin nicht im eigentlichen Inhalt vorhandenen aber dennoch für das Dokument und weitere Suchen relevanten Wörter auffindbar werden.

Automatisches Tagging bzw. sogenannte Named Entities Extraction hilft bzgl. automatisch generierter aggregierter Übersicht und Navigation durch automatisch generierte interaktive Filter (sogenannte Facettensuche).

Die neue Version der datenschutzfreundlichen Recherche-Toolbox InvestigateIX mit Suchmaschine für investigativen Journalismus bringt zahlreiche neue Features mit. Mit dem integrierten Named Entities Manager lassen sich Entities wie z.B. Organisationen, Personen oder Orte verwalten, die dann automatisch als Navigationsstruktur für explorative Suche bzw. Übersichten sowie als interaktive Filter (Facettensuche) verwendet werden. Dazu kommen Tools zum Scannen, die Literaturverwaltung Zotero und der Webcrawler HTTrack zum Crawlen und Archivieren ganzer Websites.

Mit der Webapp RSS-Feed-Manager gibt es nun ein laiengerechtes User Interface für die Verwaltung und den Import von RSS-Newsfeeds in die Suchmaschine Open Semantic Search oder andere Apache Solr basierte Suchmaschinen.

Die damit importierten News können dann z.B. mittels weiterer Filter oder Regeln in differenzierte und aus passenden Inhalten bestehende andere oder neue Kanäle oder Rubriken geleitet werden.

Diese aus vielen verschiedenen Quellen zusammengestellten und nach eigenen Kriterien gefilterten, aufgesplitteten oder zusammengestellten neuen Kanäle können wiederum als RSS-Newsfeeds zur Verfügung gestellt werden.

Privatix Live-System war eine freie, sichere und mobile IT-Arbeitsumgebung zum sicheren Bearbeiten und Mitführen sensibler Daten, für verschlüsselte Kommunikation und zur anonymen Nutzung des Internet.

Die neue Version des Live-Systems InvestigateIX ist zum Download verfügbar.

Das Live-System ermöglicht Laien wie z.B. investigativen Journalisten eine abgeschottete und verschlüsselte Umgebung bzw. Suchmaschine zum Durchsuchen vieler Dokumente auf einem verschlüsselten USB-Stick oder einer verschlüsselten externen Festplatte aufzusetzen.

In der neuen Version ist nun auch das Recherche-Tool bzw. die Such-Applikation "Suche mit Listen" integriert, mit denen sich schnell und komfortabel abgleichen lässt, ob es zu den einzelnen Einträgen in Listen jeweils Treffer in der durchsuchbaren Dokumentensammlung gibt.

Mittels unscharfer Suche findet das Tool auch Ergebnisse, die in fehlerhaften oder unterschiedlichen Schreibweisen vorliegen

If you have not only some search queries but a whole list (i.e. a list of company names) and you want to search for every entry of this list, if there are results in your data, you can use the listsearch webapp. The new version supports fuzzy search, so that your search with lists will find even results that are similar, i.e. because of typos, missing parts of the company name or OCR errors while automatic text recognition.

Mehr zur Suche mit Listen.

Strukturierte Daten werden oft in Tabellenform im CSV-Format gespeichert oder können in diesem Format exportiert werden.

Meist lassen sich solche Dateien problemlos mit Tabellenkalkulationsprogrammen wie Excel oder OpenOffice Calc öffnen, anschauen und nach Stichworten durchsuchen.

Doch mittlerweile gibt es öfter mal Daten im CSV-Format, deren Datenmenge zu gross ist, um diese mit Tabellenkalkulationen wie Excel oder Open Office Calc öffnen und / oder komfortabel durchsuchen zu können.

The table view of Open Semantic Search now is responsive, so you can scroll the columns to left or right using the swipe gesture or touch the icons to switch between columns if there are too many columns to display all of them on the screen.

Responsive tables are displayed by Tablesaw.

Text stored in image formats (i.e. scans, screenshots or photos) cant be found by standard fulltext search. So the search engine Open Semantic Search enriches meta data of images like filename, format and size with results from automatic text recognition (OCR).

With the new enhancer XMP sidecar files for the search engine Open Semantic Search or Solr you can integrate metadata like tags or descriptions from XMP sidecar files from photo databases (i.e. from Adobe Photoshop Lightroom or JPhototagger).

Mit dem Recherche-Tool Reconcile App liegt ein Open-Source Tools zum Download bereit, mit dem sich laiengerecht Listen auf Übereinstimmungen vergleichen bzw. abgleichen lassen, ohne dass dazu Daten an Server oder Clouddienste gesendet werden.

With our integration of Drupal CMS as metadata management system you can use the flexible custom content types, custom fieds and taxonomies of the open source CMS for tagging and annotation.

Since it has flexible user management tools it can be even used for public crowdsourcing.

Read more

Die Open-Source Software SecureDrop ist ein digitaler Briefkasten für Whistleblower und Informanten, die Hinweise, Nachrichten, Dateien und Dokumente datenschutzfreundlich und verschlüsselt über das Tor-Anonymisierungsnetzwerk hochladen können.

Verschiedene Medien, investigative Journalisten und NGOs nutzen diese Einreichplattform bereits.

Im nun angebotenen SecureDrop Workshop ...

Die auf dem diesjährigen LinuxTag vorgestellte neue Release der datenschutzfreundlich und unabhängig betreibbaren Suchmaschine Open Semantic Search ist in Version 14.05.12 erschienen.

Die Open Source Suchmaschinensoftware durchsucht und sortiert auch große Datenmengen und kommt mit vielen unterschiedlichen Datenformaten zurecht.

InvestiGateIX ermöglicht IT-Laien die Einrichtung und Nutzung einer gesicherten digitalen Recherche-Umgebung mit Suchmaschine auf einem externen und mobilen verschlüsselten Datenträger (z.B. USB-Stick oder externe Festplatte).

Die als sichere und datenschutzfreundliche Whatsapp-Alternative gehandelte Messenger-App und SMS-Verschlüsselung Textsecure verschlüsselt mobiles Messaging auf dem Handy bzw. Smartphone.

Die Open-Source-Software bietet nicht nur verschlüsselte Chats über eine Internetverbindung, sondern kann auch herkömmliche SMS-Nachrichten verschlüsseln.

Dank leistungsfähiger und laiengerechter freier Software müssen gute und nachhaltige CRM-Lösungen zur kollaborativen Verwaltung von Vereinen, Non-Profit-Organisationen und NGOs und zur Unterstützung deren Kommunikation weder unerschwinglich sein noch müssen hierzu sensible Daten außer Haus verwaltet werden.

Die unabhängig und datenschutzfreundlich betreibbare Suchmaschine Open Semantic Search unterstützt die Suche von und in Tabellen (CSV-Format) noch besser.

So lassen sich viele Tabellen gleichzeitig und auch zeilenweise durchsuchen, Spalten filtern und ordnen.

Dank Anregungen und Kritik aus den bereits zuvor statt gefundenen Workshops, Diskussionen und des in letzter Zeit durch Aufdeckung der Geheimdienst-Affairen um NSA, Prism, Tempora und co. noch breiteren Interesses gibt es nun die Anleitung für digitale Selbstverteidigung und Selbstdatenschutz aktualisiert und in etwas übersichtlichere bzw. auch mit kleineren Displays nutzbare Form gebracht.

Open Semantic Search ist eine unabhängig und datenschutzfreundlich betreibbare Suchmaschine für JournalistInnen, Redaktionen, Bildungseinrichtungen, Vereine und NGOs die eine Suchlösung zum laiengerechten Durchsuchen auch sehr unübersichtlicher und/oder umfangreicher Datenbestände und Archive auf Fileservern (z.B. gewachsene Datenberge in Form von Dateien und Dokumenten in Verzeichnissen) und/oder im Intranet (z.B. Wiki oder CMS) oder für Recherchen in umfangreichen digitalen Dokumentenbeständen (z.B. PDF, Scans, Office-Dokumente oder Bilder) benötigen.

Bei allem Enthusiasmus wegen größerer Transparenz durch immer mehr zugängliche Daten ist in Zeiten von Greenwashing, Astroturfing, Suchmaschinenoptimierung und Neusprech gerade auch bei Daten, deren Veröffentlichung von vorne herein klar oder z.B. aufgrund aktueller Datenjournalismus und OpenData-Initiativen absehbar ist, die nötige Skepsis geboten.