Year: 2010

Microfeed – feeds via DBUS

2010/02/24 No hi ha comentaris

Reading time: 2 – 2 minutes

Avui he descobert microfeed, es tracta d’una implementació d’arquitectura client-servidor que permet accedir a diferents fonts d’informació d’internet publicades via feeds. Potser el que més gràcia m’ha fet és que si volem usar aquesta llibreria per programar, per exemple, una GUI que permeti gestionar aquestes dades l’accés es fa a través de DBUS. És a dir, per un costat microfeed recull les dades de les seves fonts originals (twitter, facebook, identi.ca, etc) i la GUI es comunica amb la llibreria via DBUS. De fet, el que realment m’ha fet gràcia és que això és el que fa Telepathy però encomptes de fer-ho contra feeds ho fa contra jabber/XMPP, MSN, IRC, SIP, etc.

Una forma molt visual d’entendre que fa microfeed és amb aquest esquema:

En principi la única GUI que he trobat que usa aquest backend és Mauku que és una aplicació pensada per Maemo.

Amb el primer cop d’ull a la llibreria no he arribat a trobar com ho fa per rebre els feeds dels llocs com twitter i facebook, imagino que ho farà via polling. Seria interessant saber si també ho pot fer per PubSub. Ja que segons l’esquema només tinc la sensació que el PubSub s’usa via DBUS. Si algún dia em poso a treballar amb la llibreria espero aclararir-ho.

/wp-includes/js/tinymce/themes/advanced/skins/wp_theme/content.css

eBox – servidor, gateway i d’altres funcionalitats avançades per PIMES

2010/02/12 2 comentaris

Reading time: 6 – 10 minutes

L’any 2.006 vaig descobrir eBox, fins hi tot vaig escriure un article que parlava d’ell. Doncs a arrel del article que vaig escriure fa unes setmanes sobre clearOS l’Oriol em va fer pensar altre cop amb l’eBox preguntant-me què tal estava. Doncs bé, la curiositat em va picar i el dilluns el vaig instal·lar en una màquina virtual.

Així doncs a estones durant tota la setmana he estat jugant una mica amb l’eina. En linies generals he de dir que ha millorat moltíssim des de que el vaig descobrir i que integra un munt de funcionalitats noves. La usabilitat continua sent un punt fort de l’eina i també la facilitat d’ús. Jo diria que qualsevol administrador de sistemes de linux en té prou amb uns pocs minuts per sentir-se molt còmode usant l’eina.

Per altre banda no vull deixar de destacar que com a backend per la gestió d’usuaris per tots els serveis que té usa LDAP, cosa que m’ha agradat moltíssim. O sigui, que tenim un postfix, squid, dovecot, asterisk, jabberd2, openvpn, etc. De fet, només això en si mateix ja és un bon motiu per tenir-lo instal·lat en algún racó ja que sempre ens pot anar bé per consultar alguna configuració. A més de poder tenir un esquema d’usuaris per LDAP que podem reaprofitar per integrar en la xarxa de servidors o de desktops. Ja sigui per integrar en el PAM dels linux i/o en l’autenticació dels windows ja que el podem fer treballar com a PDC.

Com ja em va passar amb clearOS, potser el més dolent és que es troben a faltar algunes opcions de configuració que al dissenyar una interficie gràfica simple han hagut d’estalviar-se. Malgrat això l’openVPN disposa de moltes més funcions que no pas el clearOS, a més de la possibilitat d’omplir un camp on podem posar els nostres parametres a mida directament contra el fitxer de configuració. El que ja és impressionant és que integra la possibilitat de poder generar fitxers .exe amb el client d’VPN i totes les configuracions pels clients integrades en l’instal·lador. És a dir, podem generar un fitxer d’instal·lador de l’VPN per cada un dels clients.

A més també vull destacar que disposa d’una PKI propia que per gestionar els certificats dels diferents serveis va molt bé. A més de poder-la utilitzar per generar certificats que després usarem en altres aplicacions ofra del eBox.

Per no seguir fent una valoració desordenada dels serveis que té l’eBox a continuació enganxo la llista de funcionalitats que he trobat a la seva web i al costat hi posaré un comentari a les que ho cregui pertinent.

Networking
- Firewall and routing- bons i simples sistemes de monitorització per la xarxa cosa que sovint es troba a faltar.
  - Filtering – integració força bona de les iptables
  - NAT and port redirections
  - VLAN 802.1Q
  - Support for multiple PPPoE and DHCP gateways – ideal per tenir diverses ADSL en monopuesto.
  - Multi-gateway rules, load balancing and automatic failover – trivialitza aquesta tasca a més de poder-ho configurar fins a un detall força decent.
  - Traffic shaping (with application layer support)
  - Graphical traffic rate monitoring
  - Network intrusion detection system
  - Dynamic DNS client
- Network infraestructure
  - DHCP server
  - NTP server
  - DNS server
    - Dynamic updates via DHCP
  - RADIUS server – molt agraït el tenir aquesta capacitat per integrar amb linksys o d’altres similars a l’hora de montar un hotspot o per montar autenticacions segures wifi
- VPN support – molt decent la integració.
  - Dynamic routes autoconfiguration
- HTTP proxy – forma senzilla de tenir tot el que cal en proxies.
  - Internet cache
  - User authentication
  - Content filtering (with categorized lists)
  - Transparent antivirus
- Intrusion Detection System – integra SNORT!!! (el vaig usar al meu PFC)
- Mail Server – un 9!!! una integració molt aconseguida i que fa tot el que li cal a una PIME i més
  - Virtual domains
  - Quotas
  - SIEVE support
  - External account retrieval
  - POP3 and IMAP with SSL/TLS
  - Spam and antivirus filtering
    - Greylisting, blacklisting, whitelisting
  - Transparent POP3 proxy filter
  - Catch-all account

Webmail
Web server – aquí és on més coixeja el tema sota el meu punt de vista perquè no et deixa tocar pràcticament res del servidor web, o almenys jo no ho he sabut trobar.
- Virtual hosts
Certification authority – realment útil i simple

Workgroup
- Centralized users and groups management
  - Master/slave support
  - Windos Active Directory Synchronization
- Windows PDC
  - Password policies
  - Support for Windows 7 clients
- Network resource sharing
  - File server
    - Antivirus
    - Recycle bin
  - Print server
- Groupware: calendar, address book, webmail, wiki, etc. – personalment no m’agrada gens aquesta eina.
- VoIP server – poc configurable pel meu gust, però a destacar el ben integrada que esta amb el LDAP, no he sabut veure si tb ho esta amb el XMPP/jabber2.
  - Voicemail
  - Conference rooms
  - Calls through an external provider
  - Call transfers
  - Call parking
  - Music on hold
  - Queues
  - Logs

Jabber/XMMP server – això no m’ho esperava, però felicitats per haver-hi pensat.
- Conference rooms
eBox User Corner for self users info updating – va molt bé pq els usuaris s’ajustin el que els cal sense molestar l’administrador.

Reporting and monitoring
- Dashboard for centralized service information
- Monitor CPU, load, disk space, thermal, memory
- Disk usage and RAID status
- Summarized and full system reports
- Event notification via mail, RSS or Jabber – molt interessant totes les possibilitats de monitorització que té, això val un imperi.

Software updates
Backups (configuration and remote data backup) – molt simplificada la tasca, no sé què copiara però si ho fa bé, això és brutal.

Control Center to easily deploy and administrate several machines running eBox Platform – aquí és on entren les funcionalitats de pagament, ho trobo molt raonable i molt bona idea.

Per acabar he de dir que clearOS hem va agradar moltíssim, potser trobaria algunes coses que les fa millor que l’eBox però he de dir que aquest és realment molt millor que l’altre. En faig una valoració realment positiva i el recomano moltíssim. Això si, si hagués de montar-ne algún en una empresa primer montaria clearOS faria un o dos dies de proves i després montaria eBox per acabar d’estar-ne content. Encara que hagués de pagar aquests dies de feina de la meva butxaca crec que estarien molt ben invertits.

NOTA: Que no se m’oblidi eBox es basa en Ubuntu i clearOS en centOS, malgrat estic familiaritzat amb els .rpm gràcies a Fedora, he de dir que hem sento molt més còmode amb eBox i això pesa molt.

debian/ubuntu: buscant quin paquet conté un fitxer

2010/02/12 2 comentaris

Reading time: < 1 minute Referència ràpida per saber quin és el paquet en una debian/ubuntu que conté un fitxer. La típica funcionalitat que mai recordes quan et cal: Paquets instal·lats:

dpkg –search /path/fitxer

Fitxers de paquets no instal·lats:

# cal la utilitat apt-file
apt-get install apt-file
apt-file update
apt-file search fitxer

eines per XMPP

2010/02/12 No hi ha comentaris

Reading time: 2 – 3 minutes

A continuació adjunto una petita descripció d’algunes eines per comunicar-se amb una xarxa XMPP que poden ser molt útils:

Idavoll

Implementació del XEP-0060, o sigui, d’un servei de publish-subscribe (PubSub) esta escrit amb Python i Twisted. Bàsicament el que permet és que sobre un servidor XMPP estàndard hi podem connectar un servei basat en PubSub, o sigui, que nosaltres publiquem una serie d’informació que un seguit de clients consulten perquè hi estan subscrits. És un mètode basat en events (no-polling) molt adient per disfondre certs tipus d’informació.

Switchboard

A vegades programem shell scripts que necessiten enviar el seu resultat a la xarxa XMPP, per exemple, imagineu que volem comunicar la caiguda d’un servei a través de GTalk, doncs aquest toolkit ens simplifica moltíssim aquesta tasca. Esta programat en ruby i a part de poder-se usar des de la CLI també podem integrar-ho com a llibreria dins d’un codi en ruby.

XMPP Poetry CLI tools

El seu nom ja ho diu tot, són una col·lecció d’eines que via CLI ens permeten interactuar amb una xarxa XMPP, algunes de les seves funcions són:

disco: recull informació sobre serveis
pubsub-config: crea, configura i llança queries contra serveis pub-sub

Aquestes eines estan escrites amb Python, Twisted i Wokkel.

XMPPPHP

Llibreria de PHP5 amb suport de:

XMPP 1.0 (pot connectar a: GTalk, LJTalk, jabber.org, etc)
Suporta TLS
Processa diversos formats XML

Sembla força senzill d’usar, per exemple, programar un bot és tan fàcil com això:

<?php
include("xmpp.php");
$conn = new XMPP('talk.google.com', 5222, 'user', 'password', 'xmpphp', 'gmail.com', $printlog=True, $loglevel=LOGGING_INFO);
$conn->connect();
while(!$conn->disconnected) {
    $payloads = $conn->processUntil(array('message', 'presence', 'end_stream', 'session_start'));
    foreach($payloads as $event) {
        $pl = $event[1];
        switch($event[0]) {
            case 'message':
                print "---------------------------------------------------------------------------------\n";
                print "Message from: {$pl['from']}\n";
                if($pl['subject']) print "Subject: {$pl['subject']}\n";
                print $pl['body'] . "\n";
                print "---------------------------------------------------------------------------------\n";
                $conn->message($pl['from'], $body="Thanks for sending me \"{$pl['body']}\".", $type=$pl['type']);
                if($pl['body'] == 'quit') $conn->disconnect();
                if($pl['body'] == 'break') $conn->send("");
            break;
            case 'presence':
                print "Presence: {$pl['from']} [{$pl['show']}] {$pl['status']}\n";
            break;
            case 'session_start':
                $conn->presence($status="Cheese!");
            break;
        }
    }
}
?>

Redirigit peticions webmail.* en un Plesk

2010/02/04 1 comentari

Reading time: 1 – 2 minutes

L’objectiu és aconseguir que totes les peticions de l’estil: http://webmail.domini.tld es redirigeixin a: http://domini.tld/webmail amb un servidor amb Plesk.

Creem el fitxer de configuració d’apache: /etc/httpd/conf.d/webmail-redir.conf


<VirtualHost ip_publica_1:80 ip_publica_2:80 ... ip_publica_3:80>
RewriteEngine On
RewriteCond %{HTTP_HOST} ^webmail.* [NC]
RewriteMap  hostname prg:/opt/scripts/hostname.sh
RewriteRule ^(.*) http://${hostname:%{HTTP_HOST}}/webmail [L,R]
</VirtualHost>

i creem l’script: /opt/scripts/hostname.sh (perms: 755)

#!/bin/sh

while read inputline
do
        domini=$(echo $inputline| cut -d "." -f 2)
        tld=$(echo $inputline|cut -d "." -f 3)
        echo $domini.$tld
done

En escència el que estem fent és aprofitar-nos del mod_rewrite d’apache2 per poder assignar a la funció de mapes un script que retalla el HTTP_HOST treient-li la paraula webmail de l’inici. Amb això obtenim el domini al que volem connectar i només li hem d’afegir la URI a la RewriteRule perquè ens redirigeixi cap on toca.

Generador de codis QR

2010/02/02 2 comentaris

Reading time: < 1 minute He montat un generador de codis QR al servidor de casa i que és usable des d'internet. Si a algú li fa falta és tan senzill d'usar com:

URL:http://oriol.joor.net/tools/qrcode/qr_img.php?d=URL_CODIFICAR

per exemple:

http://oriol.joor.net/tools/qrcode/qr_img.php?d=http://oriolrius.cat

sortida:

Comencem la setmana amb CV actualitzat i portàtil:off

2010/01/25 1 comentari

Reading time: 2 – 3 minutes

Ahir em va donar per actualitzar el meu CV, potser feia més de 2 anys que no ho feia, per no dir més. Però mira ahir em va picar fer-ho. Així doncs, si algú té curiositat el podeu consultar on sempre: CV. En gran part ho vaig fer perquè hi ha la resposta a la pregunta que hem fa molta gent de: “i tu ara què estàs fent?” cosa gens simple de contestar i vaig pensar, el millor lloc per contestar això potser és al CV i així ho vaig fer.

La mala notícia és que tot fent això es va morir el portàtil, el que sense quasi ni adornar-me’n portava quasi 3 anys fent-me costat (des de l’1 d’agost del 2007). Ja feia unes setmanes que tot d’una la pantalla es posava a parpadejar com una boja i segons com això anava acompanyat d’una penjada de tot el sistema. Doncs ahir al reiniciar varen començar a sortir unes ralles verticals de color blanc i malgrat el disc dur sembla que té activitat a la pantalla externa que hi connecto no arriba a sortir res i no sembla que acabi d’arrencar el sistema operatiu. Per tant, avui toca començar la odisea dels SAT, a veure què diu la gent de Dell. Tenint en compte l’edat del portàtil no descarto la compra d’un nou portàtil això si intentaré arreglar el que tinc ni que sigui via eBay, si la gent de Dell no em dona cap bona solució.

Per cert, ara mateix el que he fet per seguir treballant és treure el disc dur de 500GB i 2’5″ i montar-lo en una placa intel 945GCLF2 que tinc per aquí. De fet, el més important funciona sense problemes, però la diferència de la potència de la gràfica, la CPU i la RAM es noten molt. Però tampoc ens posem exigents ja que per treballar almenys ho puc fer en condicions cosa que hem feia pànic no poder fer.

CouchDB: bases de dades NoSQL

2010/01/14 3 comentaris

Reading time: 4 – 6 minutes

couchdb logo

Abans de parlar de CouchDB, si no heu sentit a parlar mai de les bases de dades NoSQL, és important que sapigueu que no són bases de dades ralacionals, ni orientades a objectes. Sinó que es basen en un paradigme diferet, són orientades a documents.

Doncs bé, CouchDB és un projecte de la fundació Apache i és OpenSource, és clar. Algunes de les seves característiques són:

RESTful API
schema-less document store (document=JSON format w/binary support like attachments)
multi-version-concurrency-control model
user-defined query structured as map/reduce (javascript, python, C, etc)
incremental index update mechanism
multi-master replication
easily distributable
update validation
programat amb erlang
web based basic admin features
binding for python, C, .NET, PHP, Ruby, etc.
pros: retrieve information, cons: insert data

Actualment estic estudiant si usar aquest producte en un dels projectes que estic treballant. De fet, encara no tinc clar si aplica al 100% a les necessitats que tinc en el projecte però a priori s’ajusta prou bé. Perquè no penseu que això és una raresa que no coneix ningú informar-vos que Ubuntu One usa couchDB com a backend, pels que no conegueu el servei jo el vaig descobrir gràcies a l’article d’Ars Technica: Code tutorial: make your application sync with Ubuntu One.

Inicialment volia fer un manual de les funcions bàsiques de CouchDB però degut al munt de documentació que he trobat he pensat que era una tonteria re-inventar la roda, així doncs a continuació faré una ressenya de les fonts d’informació que he usat per coneixer aquesta base de dades:

CouchDB Implementation: descripció molt detallada i no massa extensa de com funciona per dintre aquest sistema de BBDD especialment dedicada al Pau. Destaco aquest paràgraf:

CouchDB is a “document-oriented” database where document is a JSON string (with an optional binary attachment). The underlying structure is composed of a “storage” as well as multiple “view indexes”. The “storage” is used to store the documents and the “view indexes” is used for query processing.

Serie d’articles del blog RVZ: una pequeña introducción I, II, III y IV.
Llibre: CouchDB: The Definitive Guide, consultable online en format HTML.
CouchDB.es, sobre CouchDB y NoSQL.

Enllaços orientats a les consultes:

Secció ‘Finding Your Data With Views‘ del llibre: CouchDB: The Definitive Guide
Wiki del projecte,
Simulador de consultes via map/reduce per CouchDB: Interactive CouchDB
via Damien Katz blog (creador de CouchDB)
- Incremental Map/Reduce
- Incremental Map/Reduce/Combiner?

Abans d’acabar comentar que personalmentel que més m’ha costat d’entendre de tot plegat és el tema map/reduce especialment la part de reduce, ja que no acabava de veure al 100% com funcionava i quina finalitat tenia. Potser l’error més gran que he comès és intentar buscar un paral·lelísme directe entre SQL i NoSQL. Sota el meu punt de vista no són tecnologies substitutories, més aviat complementaries ja que cada una s’ajusta a un tipus de solucions diferents. Per tant, abans que res recomano que confronteu la vostre problemàtica amb cada un dels paradigmes: orientat a objectes, bbdd relacionals i orientat a documents.

Turnkey Linux Virtual Appliances

2010/01/13 1 comentari

Reading time: 2 – 3 minutes

Turnkey Linux logo

Ahir comentava que el Carles hem va parlar de ClearOS, doncs bé, també em va comentar que hi havia un projecte opensource anomenat Turnkey Linux que bàsicament es dedica a fer software appliances amb els paquets de codi lliure més famosos, per exemple: LAMP, drupal, joombla, phpBB, dokuwiki, mediawiki, rails, tomcat, mysql, wordpress, etc. actualment diria que hi ha 56 paquets.

De fet, a part de per fer proves sobre certs paquets no trobo massa interessant aquestes software appliances. Però el que si que realment m’ha cridat l’atenció i he estat provant fa uns dies és el Turnkey Core, que en escència és la base del sistema que ells usen per montar les software appliances. Escencialment es tracta d’agafar una Ubuntu 8.04.3 LTS i donar-li suport de:

Target systems:
- CD d’instal·lació optimitzat (instal·lació mínima) i ús com a liveCD
- Màquines virtuals: VMDK HD i OVF (Xen, VMWare, Parallels, VirtualBox)
- Amazon EC2 AMI
Configuration console (feta en python), permet configurar de forma senzilla funcions bàsiques:
- xarxa
- apagar
- reiniciar
Ajax Web Shell (shellinabox): client SSH via web, realment va molt bé!
Web Management via Webmin
Regenera les claus dels certificats durant la instal·lació
- SSL: webmin, apache2, lighttpd
- SSH
Definir el password de root durant la instal·lació

Com podeu imaginar-vos la meva idea és agafar aquesta base de sistema per montar els meus propis servidors ja sigui a nivell privat o professional. De fet, estalvia prou feina i la instal·lació que fa Turnkey Core d’Ubuntu és prou petita com per fer una instal·lació a mida en cada cas. O sigui, que es poden intal·lar els paquets que volem sense haver de tenir coses innecessaries. Això si, pensant sempre en servidors.

clearOS Enterprise

2010/01/12 2 comentaris

Reading time: 3 – 4 minutes

Abans de marxar de vacances tot parlant amb el Carles vaig descobrir el clearOS i després d’un parell de dies fent-hi proves esporàdiques no volia deixar l’oportunitat d’escriure quatre ratlles sobre el que m’ha semblat.

Es tracta d’una distribució de linux especialment orientada a petites empreses amb pocs servidors, malgrat per algunes mitjanes empreses també crec que estaria ben indicada. Basada en Redhat/CentOS i totalment focalitzada a ser usada via una interficie web força amigable.

Incorpora diverses eines sempre gestionables desde web que permeten fer funcions de servidor de xarxa i/o de gateway de comunicacions. Per exemple:

funcions de directori
- LDAP amb usuaris i passwords integrats per la resta de serveis
- gestor de certificats de seguretat
funcions de xarxa
- multi-wan
- VPN, PPTP, IPSec, OpenVPN
- DMZ i NAT 1-1
- funcions de firewall
- servidor DHCP i DNS
- UPnP
funcions de gateway
- antimalware: antivirus, antiphing i antispyware
- antispam
- gestor d’ampla de banda
- detector d’intrusions
- filtres de protocols, fins hi tot P2P
- filtres de continguts
- web proxy
- control d’accés
funcions de servidor
- Windows Networking com a PDC
- serveis de fitxers i impresores
- flexshares (diverses formes de compartir fitxers: SMB, FTP, Web, etc)
- groupware i connector d’outlook
- servidors de correu: POP, IMAP, SMTP, Webmail i recollida de correu
- filtres de correu: antispam, antimalware, greylisting i quarantena
- arxivador automàtic de correu
- gestor de bbdd MySQL
- servidor web amb PHP

A més al estar orientat a un entorn professional l’empresa que desenvolupa clearOS disposa d’un servei anomenat clearSDN, a través del qual es pot obtenir:

Software Updates Priority security and bug updates to the ClearOS software.
Content Updates Required updates to Content Filter, Intrusion Protection, Antispam and Antimalware.
Monitoring Alarms and reporting for bandwidth, resource and security management.
Remote Services Critical services for VPN, DNS and Remote Server Backup.

Fins hi tot tenen uns dispositius anomenats clearBOX que porten el sistema operatiu integrat i ja disposen d’uns quants ports ethernet, ideals per fer de gateway o fins hi tot de switch.

Com no podia ser d’altre forma tot plegat té un bon manual de suport pels usuaris més novells, ja que només amb una mica d’experiència en l’administració de sistemes tot plegat es fa molt intuitiu.

En general m’ha quedat un bon gust de boca pel que fa a l’eina, potser on més he trobat que coixeja el sistema és en detalls de configuració més avançats, per exemple, del servidor d’OpenVPN i cosetes similars. Però per empreses petites i mitjanes com ja deia abans és més que suficient en la majoria de casos.