Cyxapeff Blog

Фенечки

За последнее время накопилось несколько полезных фенечек, которые могут кому-то пригодиться. О них я уже упоминал в своём твиттере, но подумал, что продублировать в блоге не помешает.

Google Translate plugin for vimperator

Давно уже пользуюсь vimperator'ом, а так же часто нужно перевести слово или фразу. Есть куча способов сделать это, но я уже настолько привык к вимператору, что команда мне кажется самым простым способом.

Использование:

:tr[anslate] [-l[angpair] from|to] word or phrase

Забрать последнюю версию можно с Launchpad: https://code.launchpad.net/~cyxapeff/+junk/vimperator-translate

Tr.im plugin for vimperator

Нашёл отличный плагин который сокращает ссылки используя мой любимый tr.im. Но используя я его обычно для уже открытой страницы, чтобы поделиться ссылкой в твиттере или джаббере, а он не умеет самостоятельно подставлять URL текущей страницы. Пришлось научить.

Исходный код плагина:

commands.addUserCommand ("trim",
    "Tr.im a url and copy it to the clipboard",
    function (args)
    {
        if (args[0] && args[0] != '' ) { url = args[0]; }
        else { url = buffer.URL; }
        util.httpGet ("http://tr.im/api/trim_simple?url=" +encodeURIComponent (url), function (req)
             {
             if (req.status == 200)
             {
             util.copyToClipboard (req.responseText);
             liberator.echo ("Trim URL: " +req.responseText);}
             else
             liberator.echoerr("Error contacting tr.im!\n");
             }
        );
    });

Как видно если вызвать :trim без параметров - подставится текущий URL.

Twibirthday

Очередной бот для твиттера. Занимается тем, чем сообщает когда вы зарегистрировались и за день до тви-рождения напоминает об этом личным сообщением. Для использования нужно просто его зафолловить @twibirthday.

Rss с drive2

Мне очень нравится сайт drive2.ru. Отличное сообщество, красивые машины и интересные обсуждения. Но разработчики сайта не позаботились о том, чтобы отдавать ленту событий в RSS. Пришлось снова писать костыли. На этот раз костыль я решил написать не на привычном и горячо любимом питоне, а на руби.

Распарсить ленту не представляет труда, а вот авторизоваться на сайте с ходу не получится. На форму входа навешен javascript и без него "войти" невозможно. Мне известны два способа как решить эту проблему. Во-первых, использовать какую-нибудь библиотеку, которая работает с настоящим браузером. Соответственно и javascript и всё остальное там прекрасно работает. Для руби есть, например, Watir. Во-вторых, можно своему скрипту подсунуть рабочие куки и таким образом вообще пропустить стадию авторизации. Собственно этот второй путь я и выбрал.

Моим повседневным браузером является firefox, который хранит куки в базе данных SQLite, которая лежит в ~/.mozilla/firefox/%profile%/cookies.sqlite (путь для линукса, в windows очень похожий). Откроем этот файл и посмотрим что там внутри:

$ sqlite3 /tmp/cookies.sqlite
SQLite version 3.6.22
Enter ".help" for instructions
Enter SQL statements terminated with a ";"
sqlite> .tables
moz_cookies
sqlite> .headers on
sqlite> select * from moz_cookies limit 3;
id|name|value|host|path|expiry|lastAccessed|isSecure|isHttpOnly
1254769091658566|PREF|моя кука|.google.com|/|1326648773|1264938324355994|0|0
1254769091658706|NID|моя кука|.google.com|/|1280320725|1264938264007374|0|1
1254769091832306|PREF|моя кука|.google.ru|/|1317842867|1264938309932153|0|0

Отлично. Значит мы без труда может вытащить рабочие куки из нашего браузера. Но браузер работает на десктопе, а скрипт должен работать на сервере, чтобы постоянно мониторить обновления ленты. Следовательно нужно каким-то образом держать на сервере актуальную базу. Я для этого решил использовать Dropbox, т.к он и так постоянно запущен как на сервере, так и на десктопе. Кидаю ссылку в директорию дропбокса и готово.

Ну а теперь собственно сам скрипт.

# coding: utf-8

require 'sqlite3'
require 'net/http'
require 'nokogiri'
require 'rss/maker'

class Parser
    TITLE = "Drive2.ru Feed"
    LINK = "http://www.drive2.ru/my/feed"
    DESCRIPTION = "Rss from my feed"
    def initialize(sqlfile = nil, txtfile = nil)
        if sqlfile
            @doc = Nokogiri::HTML(get_page(sqlfile))
        elsif txtfile
            @doc = Nokogiri::HTML(get_from_file(txtfile))
        else
            exit()
        end
    end

    def get_page(sqlfile)
        cookies = ''
        `cp #{sqlfile} /tmp/cookies.sqlite`
        db = SQLite3::Database.new('/tmp/cookies.sqlite')
        db.execute( "select name, value from moz_cookies where host = '.www.drive2.ru'" ) do |row|
             cookies += row[0] + '=' + row[1] + ';'
        end

        con = Net::HTTP.new('www.drive2.ru', 80)
        path = '/my/feed/'
        headers = { 'Cookie' => cookies,
                    'Refer' => 'http://www.drive2.ru',
                    'User-Agent' => 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.1.7) Gecko/20100105 Shiretoko/3.5.7'}
        res = con.get(path, headers)

        res.body
    end

    def get_from_file(txtfile)
        f = File.new(txtfile)
        f.read()
    end

    def login?
        title = @doc.css('title').first.content.strip
        return true if title == 'Лента'
        return false
    end

    def parse
        result = Array.new
        @doc.css('.journalentries').each do |entry|
            time = entry.css('.eventtime').first.content
            time = Time.parse(modify_time(time))
            title = entry.css('h3').first.content
            content = entry.css('div:regex("j\d+")', Class.new {
                def regex node, regex
                    node.find_all { |node| node['id'] =~ /#{regex}/ }
                end
            }.new).first.inner_html
            link = entry.css('.commentslink > a').first['href']
            result << { :title => title,
                        :datetime => time,
                        :content => content,
                        :link => 'http://www.drive2.ru' + link}
        end
        return result
    end

    def create_rss(entries)
        content = RSS::Maker.make('2.0') do |m|
            m.channel.title = TITLE
            m.channel.link = LINK
            m.channel.description = DESCRIPTION
            m.items.do_sort = true # sort items by date

            entries.each do |entry|
                i = m.items.new_item
                i.title = entry[:title]
                i.link = entry[:link]
                i.date = entry[:datetime]
                i.description = entry[:content]
            end
        end
        return content
    end

private
    def modify_time(string)
        dict = { 'января в' => 'Jan', 'февраля в' => 'Feb',
                 'марта в' => 'Mar', 'апреля в' => 'Apr',
                 'мая в' => 'May', 'июня в' => 'Jun',
                 'июля в' => 'Jul', 'августа в' => 'Aug',
                 'сентября в' => 'Sep', 'октября в' => 'Oct',
                 'ноября в' => 'Nov', 'декабря в' => 'Dec',
                 'вчера в' => (Time.now - 60*60*24).strftime("%d %b")}
        dict.each do |key, value|
            string.sub!(key, value)
        end
        return string
    end
end

if __FILE__ == $0
    parser = Parser.new('/home/smacker/Dropbox/cookies.sqlite')
    if parser.login?
        rss = parser.create_rss(parser.parse)
        f = File.open('/var/www/media/drive2.rss', 'w')
        f.write(rss)
        f.close()
     end
end

Если код не очень красив, не сердчайте, я только начал изучать ruby. В методе get_page я копирую базу в /tmp, потому что пока firefox запущен, он блокирует базу и не даёт из неё ничего читать. Готовый rss файл просто кладётся в директорию доступную по http, а эту ссылку я добавляю в свой Google Reader. Ну а скрипт соответственно прописан в кроне и выполняется раз в 2 часа. Надеюсь, он пригодится кому-нибудь ещё.

Небольшое обновление блога

Уже довольно давно пушнул новую ревизию блога. Что появилось нового:

Поиск реализованный через Google Custom Search. Сейчас стало модно всё переносить на клиента, в том числе и поиск, но у меня сделано по-старенькому. Запросы к гуглу генерирует сервер, ответы разбирает он же. Ну и выдаёт уже готовый html.
Поддержка gravatar. Здесь всё и так понятно. У комментариев появились аватарки.

Обновление маленькое, зато исправлено множество багов.

Инстументальные среды разработки для Python

Этот пост в первую очередь предназначается для сайта welinux.ru, но продублировать его в блоге, думаю, будет не лишнем

Писать, как известно, можно где угодно и как угодно. Вплоть до скриптов на листке бумаги, а интерпретатор держать в голове. Всё зависит от личных предпочтений того или иного человека. Я расскажу о тех средах в которых хоть немного успел поработать. И начну с самого просто:

gedit

Стандартный текстовый редактор из gnome. Не смотря на то, что большинство считает его чем-то вроде виндового блокнота именно в этом редакторе я провёл большую часть времени программирую на питоне. А случилось это не потому, что я такой мазохист, а потому что в своё время наткнулся на список плагинов, которые реализовали всё что мне было необходимо.

Из коробки уже доступны интересные плагины File Browser, Python console назначение которых понятны из названия. А так же мега полезный Snippets. Что такое сниппеты, наверно, тоже уже большинству понятно, для остальных - это небольшие кусочки кода, которые заменяют определённые нами слова. Гораздо понятней и наглядней будет не рассказывать, а посмотреть видео. По-мимо этого я использовал один из плагинов реализующих Autocomplete, продвинутый поиск, Lorem Ipsum, один из ToDo плагинов. На тот момент они с лихвой покрывали все мои потребности.

Так же есть возможность использовать и цветовые схемы. Я использовал Desert, который в будущем ставил везде куда только можно прикрутить свою раскаску.

Vim

На данный момент использую именно этот редактор. Сам по себе редактор очень мощный, а от многообразия плагинов просто захватывает дух. Как точить его до мини IDE отлично рассказано в гугле. Ну, например, раз статьи и два статья. Основные моменты там отметили, а дальше уже опять же дело вкуса.

SciTE

Это совсем не IDE, а просто хороший текстовый редактор основанный на Scintilla. Для создания небольших скриптов и чтения исходников подходит отлично. Сайт программы.

Eric

А вот уже пошли настоящие IDE. И Eric4 это одна из немногих IDE ориентированных именно на Python. Сама же она так же написана на питоне, а в качестве gui toolkit используется qt4. В качестве текстового редактора используется Scintilla. Тесно познакомится с этой средой разработки мне помешала моя преданность gtk, т.к в любом qt приложении я чувствую себя неуютно. Так же моё знакомство происходило уже довольно давно (вестимо пару лет назад), но и на тот момент Eric был очень богат на разнообразные фичи. Их список можно увидеть на сайте редактора. Что не понравилось - это перегруженность интерфейса. Этот минус можно приписать всем IDE что я буду рассматривать дальше. И именно из-за него я использую vim.

Eclipse + PyDev

Одна из самых популярных IDE отлично работает с питоном благодаря плагину PyDev, в который не так давно влился и ранее закрытый платный PyDev Extension. Среда разработки конечно очень тяжёлая, но работать в ней действительно удобно. Если заниматься программирование на питоне профессионально, то это эклипс, на мой взгляд, один из лучших продуктов. Для меня же, когда питон является по большей части хобби - возможности среды избыточны.

NetBeans

Не менее мощная среда разработки NetBeans так же отлично работает с питоном с недавнего времени. Моё знакомство с этой средой было очень недолгим, поэтому предлагаю заинтересовавшимся самим опробовать IDE.

Конечно этим не ограничивается список редакторов в которых можно и нужно писать на питоне. Например, в далёком прошлом пользуясь windows я любил jEdit, написанный на Java. Под линуксом же с ним были небольшие проблемы и я быстро нашёл замену. Или Geany очень лёгкая IDE, которая не подошла мне в силу причин которые я уже не помню. Есть ещё одна довольно интересная лёгкая среда разработки PIDA, а интересна она тем, что в качестве текстового редактора использует vim. А список тех редакторов которые я не попробовал можно продолжать очень долго Kate, KDevelop, Emacs, Anjuta, IntelliJ IDEA и т.д. Если у вас до сих пор нет любимой среды разработки - попробуйте! И я уверен, вы найдёте милый вашему сердцу редактор.

* Все скриншоты взяты на просторах интернета

Gajim и ссылки в xhtml

Довольно активно использую транспорт из твиттера tweet.im, а моим любимым jabber клиентом является gajim. И всё бы хорошо, но tweet.im возвращая xhtml не делает ссылки внутри твита ссылками, поручая это клиенту. Гаджим же программа умная и создаёт ссылки только в plain тексте, в xhtml же никаких преобразований не делает, что вполне логично. Если уж приходит xhtml, то там уже и так всё размечено должно быть, а что не размечено - видимо так и задумывалось. Ну и в результате я получал ссылки на которые нельзя тыкнуть. Когда надоело копировать адреса в браузер, пришлось немного хакнуть gajim. Этим патчиком и делюсь: для gajim 0.12.1 (в Ubuntu Jaunty как раз он) и для последней стабильной версии для gajim 0.12.5.

Использовать примерно так:

sudo mv gajim0.12.1_url_twitter.patch /usr/share/gajim/src/
cd /usr/share/gajim/src/
sudo patch -i gajim0.12.1_url_twitter.patch

После рестарта гаджима - ссылки наконец-то станут ссылками.

Вот так оно выглядит у меня:

Ах да, помимо этого патч убирает имя контакта в беседе. Я бота обозвал просто Twitter, соответственно в патче нужно подставить то имя, которое используете вы.

Новый дизайн

В свободное время наваял новый дизайн блогу. На этот раз минималистичный. Кстати это уже третий дизайн за всё время существования. По дизайну в год получается. По мимо этого, внутри постарался всё оптимизировать и закэшировать максимально - работать движок стал значительно быстрее. Хотя есть ещё к чему стремиться. Ругать можно в комментариях.

Google Analytics и Python

В dashboard админки моего блога показывается количество хитов, хостов и ещё кое-какая информация из статистики. А статистику ведёт гугл. Раньше я использовал pyGAPI и не особо парился. Но недавно оно сломалось, разбираться почему было лень, тем более что уже довольно давно у Google Analytics появился свой API. Вообще есть несколько python библиотек для работы с этим API, но мне больше всех понравилась python-degapi. Она основана на python-gdata и очень просто позволяет получать всё что надо.

Установка элементарна. Скачиваем tar архив или клонируем git репозиторий. Если в системе ещё нет python-gdata, делаем как написано на офф сайте и устанавливаем. У меня же в ubuntu пакет python-gdata уже был установлен, поэтому файлы из архива я скопировал прямо в директорию с установленным gdata.

Ну практика лучше тысячи слов, поэтому парочка примеров. Получаем список сайтов на аккаунте:

import gdata.analytics.service
client = gdata.analytics.service.AccountsService()
client.ClientLogin('cyxapeff@gmail.com', 'mypassword')
alist = client.GetAccountList()
for account in alist.entry:
    print account.title.text # выводим название сайта
    print account.profileId # его Id

Получаем число просмотров и посетителей с начала месяца (1234567 - как раз этот самый profileId):

import gdata.analytics.service
from datetime import date
client2 = gdata.analytics.service.AnalyticsDataService()
client2.ClientLogin('cyxapeff@gmail.com', 'mypassword')
data = client2.GetData('ga:1234567', dimensions='ga:month', metrics='ga:visits,ga:visitors',
            start_date=date.today().replace(day=1), end_date=date.today())
print data.entry[0].visits, data.entry[0].visitors

Есть очень удобные таблички с Dimensions и Metrics, так же есть возможность сортировать, фильтровать результаты и брать их срезы.

Enjoy!

Python: sms через mail.ru

Сам пользуюсь и решил поделиться. Тем более уже просили. Небольшая библиотечка с примером отправки смски из консоли. Почти весь код позаимствован из jabber транспорта mrim. Поэтому там много лишнего. Никаких проверок на доставку нет. Тем более что смс не всегда доходят даже через офф клиент. Но на мои два номера на мегафоне и билайне приходят, тьфу-тьфу-тьфу, отлично.

Ну и примерчик:

import mrimsmssender
mrimsmssender.send_sms("yournick@mail.ru", "password", "+79221412345", u"Text of test sms")

Да, вот так просто. Ну естественно нужно быть зарегистрированным на mail.ru. Enjoy!

XFCE и FTP. Делаем удобно!

С некоторых пор на моём eeepc в качестве рабочего окружения живёт и здравствует XFCE. Но его файловый менеджер Thunar не умеет работать с фтп. После гнома и всеядного наутилуса для меня это оказалось неожиданностью. Так же из-за привычки работать с фтп прямо из файлового менеджера без специальных клиентов захотелось сделать так же и тут.

Погуглив на тему thunar ftp plugin я расстроился, но быстро вспомнил, что есть же fuse! И так apt-cache search fuse ftp выдал мне несколько пакетов, не долго думая я взял curlftpfs. В общем на этом рассказ заканчивается и дальше маленький how-to.

Создаём директорию куда будем монтировать ftp.

mkdir ~/ftp

Удобно её сунуть в Shortcuts в Thunar'е. Затем ставим curlftpfs.

sudo apt-get install curlftpfs

Теперь curlftpfs host localdir подмонтирует фтп в куда надо. Но только из под рута. Дадим возможность монтировать и простому пользователю.

sudo adduser username fuse
sudo chown fuse ~/ftp

И казалось бы всё, но не охота мне лезть каждый раз в консоль. Поэтому сделаем маленький скриптик который повесим на кнопку в панеле. (Я назвал файл .mountftp чтобы глаза не мозолил и положил в домашнюю директорию)

#!/bin/bash
host=$(zenity --title="Mount FTP" --entry --text="Host:");
if [ "$?" == "1" ]; then
  exit;
else
  fusermount -u /home/smacker/ftp;
  answer=$(curlftpfs "$host" "/home/smacker/ftp" 2>&1);
  if $answer; then
    thunar /home/smacker/ftp;
  else
   zenity --info --title="error" --text="$answer";
  fi
fi

В качестве гуя используется zenity (в убунте она есть из коробки). Очень простая и удобная штучка. Подробнее можно посмотреть в man или ключём --help. Как видно по коду мы показываем окошко куда надо ввести хост, после этого на всякий случай отмонтируем директорию и попробуем примонтировать вновь. Если всё хорошо, то сразу же её и откроем. Если же произошла ошибка - покажем её пользователю.

Ну вот. Теперь работа с фтп из xfce не менее удобна, чем в gnome. Мне обычно нужно в один момент времени работать только с одним фтп, но если у вас их много - думаю вы разберётесь какие изменения нужно внести в скрипт.

Парочка Twi сервисов

На досуге сделал пару сервисов для твиттера.

RuVictory

Это по бот-викторина. Он задаёт вопросы и ждёт верные ответы реплаями. Конечно же есть рейтинг самых "умных" пользователей. Чтобы начать играть нужно зафолловить @ruvictory и написать ему реплай или личное сообщение с верным ответом. Рейтинг есть на страничке бота.

Twitter Badges

Для нашей екб-тви-сходки я делал бэйджики для всех. Естественно не ручками, а набросав быстренько скриптик. Выбрасывать его жаль, поэтому оформил его в виде сервиса. Просто вводите свой ник и получаете картинку которую можно засунуть в бэйджик. Так же можно ввести сразу несколько ников и скачать картинки одним архивом.

В обоих случаях использован питон и django. API твиттера даёт возможность забирать данные в виде xml и json. И один из сервисов использует xml, другой json. Как оказалось с json'ом работать гораздо удобней.

сборка QutIM 0.2

Вообще в сборке qutim ничего особо сложного нет. Но как минимум придётся убить минут двадцать на изучение официального форума. И то не всё сразу найдёшь. Поэтому рассмотрим сборку qutim с плагинами ICQ и Jabber, звуками, смайликами, русским языком и всё это под Ubuntu.

1) Нужно поставить необходимые для сборки пакеты. Я даже специально поставил Ubuntu 8.10 в виртуальную машину для чистоты эксперимента.

sudo apt-get install subversion cmake g++ libqt4-dev libgnutls-dev

2) Заберём из svn последнюю версию кутима и плагинов.

svn co http://qutim.org/svn/qutim
cd qutim/plugins
svn co http://qutim.org/svn/icq
svn co http://qutim.org/svn/jabber

3) Собираем ядро.

cd qutim
cmake ./
make

4) Собираем icq плагин.

cd plugins/icq
qmake
make

5) Собираем jabber плагин.

cd plugins/jabber
cmake -DGNUTLS=1 -DZLib=1 ./
make
mv libjabber.so ../

Tip: Ничто не мешает всё это собирать одновременно. :)

6) Скачиваем русский

Последнюю версию можно найти в теме на форуме.
Распаковываем и кладём папочку languages в директорию с qutim.

7) Смайлики

Паки смайлов лежат на официальном сайте

Лично я взял Big kolobok pack.

Создаём директорию emoticons. И распаковываем туда пак. В результате у нас получится, что icondef.xml лежит в qutim/emoticons/Packname/icondef.xml

8) Звуки

Так же берём на офф сайте
Куда их класть, впринципе, не важно. Лично я положил в qutim/sounds

Ну, наконец, запускаем ./qutim
Сначала он спросит название и пароль для профиля. Дальше предложит добавить icq и jabber аккаунты. После выполнения этих не хитрых действий, лезем в "User interface settings" ("Оформление"). Ставим русский язык и смайл пак. В основных настройках, на вкладке "Sound notifications" ("Звуковые события"), жмём импорт и указываем куда распаковали звуки.

Ну вот вообщем и всё. Enjoy!

smtp debug

Сегодня закрыли Ticket #8638, рекомендуя использовать команду

python -m smtpd -n -c DebuggingServer localhost:1025

которая запустит простой SMTP сервер, выводящий заголовки и содержимое письма в консоль. По-моему очень удобно. Когда мне самому понадобилось дебажить функции рассылающие письма, пришлось устанавливать и настраивать postfix с dovecot. Теперь их можно спокойно снести.

Голосование

Пришло время голосовать за посты новогоднего постописательства от интернетных штучек.

Для себя выделил 2 поста:

Bright: Полезнее всех тот, кто знает много обо всем - гугл.ру в стихах. Да ещё каких :)
rutwitter: Вы хотите трафик? Их есть у меня… - написано про мой ставший любимым твиттер, да ещё и узнал о Корице.

Надеюсь, за меня кто-нибудь тоже проголосует :DDD

Что почитать? Что посмотреть?

У меня частенько возникает этот вопрос. Из всего многообразия книг и фильмов очень сложно выбрать что-то одно. И обычно я лезу в аську спрашивать у друзей, что им понравилось из того, что они недавно читали\смотрели. К сожалению, далеко не всегда наши вкусы сходятся. Но есть такой замечательный сервис Imhonet, после того как вы поставите несколько оценок, он начинает искать пользователей с похожими вкусами и рекомендовать вам то, что они высоко оценили. Есть разные фильтры: по жанрам, дате, количеству оценок, количеству рекомендателей, предполагаемой оценки. И это работает! Таким образом я нашёл ни одну интересную книгу.

Для большинства представленных в каталоге фильмов и книг есть краткое описание, отзывы. Что так же сильно помогает в выборе.

Ну а дружба с другими пользователями избавит от вопросов по аське. Вся лента как на ладони.

Что радует, сервис постоянно развивается. Например, изменён дизайн, появились сообщества, блоги и взят курс на большую социальность. Помимо художественной литературы и фильмов присутствует большое количество других разделов, таких как "Музыка", "Сцена", "Игры", "Вино" и другие. Новые разделы появляются довольно часто. (правда я ими не пользуюсь) Конечно не всё гладко, постоянные изменения приводят к частым багам (но исправляются довольно быстро), отсутствует какой бы то ни было экспорт своей коллекции или рекомендаций (решаемо всякими костылями).

А этот пост написан в рамках Новогоднего постописательства 2008 от Интернетных штучек.

Модуль рекомендаций для друпала

К одному моему сайту прикрутил недавно возможность голосовать за материалы, ну и соответственно в зависимости от количества голосов формируется главная страница. Но так как сайт маленький, кое-какие записи хотелось выводить сразу вне зависимости от того голосовал кто-нибудь или нет. Долго искал как это сделать. Просмотрел кучу модулей, наигрался с views, но ничего не вышло. Пришлось писать свой модуль.

Умеет:

Рисовать симпатичный виджет, клик по которому рекомендует или снимает рекомендацию.
Выводить записи суммарная оценка которых выше N.
Выводить собственно рекомендованные записи
Выводить записи определённых ролей
Работать только с выбранными типами материалов

Естественно все "фильтры" объединены логическим оператором ИЛИ.

Если вдруг кому-то нужно такую штуку - забираем.

Imhonet опять

Я уже писал об этом, но после редизайна всё естественно сломалось. Теперь наконец дошли руки подкрутить парсер, чтобы он мог разбирать новый дизайн.

И теперь оно умеет и фильмы тоже выводить. Пример:

А теперь как вставить к себе, книжки:

<script type="text/javascript" src="http://cyxapeff.org/imhonet/[Name]/widget/?n=[N]&t=book"></script>
<div id="imhoBookWidget"></div>

Фильмы:

<script type="text/javascript" src="http://cyxapeff.org/imhonet/[Name]/widget/?n=[N]&t=movie"></script>
<div id="imhoMovieWidget"></div>

[Name] - ваш ник на imhonet'е [N] - колличество элементов

Просто json можно забрать аналогично:

http://cyxapeff.org/imhonet/[Name]/json/?n=[N]&t=book
http://cyxapeff.org/imhonet/[Name]/json/?n=[N]&t=movie

Update

Появился экспорт в xml и rss.

http://cyxapeff.org/imhonet/[Name]/xml/?n=[N]&t=book
http://cyxapeff.org/imhonet/[Name]/rss/?n=[N]&t=movie

ну вот и я, Twitter

Узнал что такое twitter ещё пару лет назад, но не видел для себя смысла в его использовании. Ну и собственно не пользовался. А вот сейчас "созрел". Я всё под тем же ником, так что можно писать мне и туда @cyxapeff.

Да, сразу же прикрутил его к этому блогу. Вверху можно видеть мой последний статус.

Imageshack.us applet v0.4

Доделал версию 0.4.

Изменения с версии 0.1:

Поддержка различных фотохостингов. Из коробки поддерживает imageshack.us, tinypic.com, ipicture.ru, radikal.ru. Реализовано плагинами, так что прикрутить поддержку любого другого фотохостинга дело 10 минут.
Шаблоны вывода. Можно создавать, изменять, удалять шаблоны. Сразу созданы:
- Простая ссылка на картинку
- Ссылка на страничку, которая показывается после загрузки изображения
- Html код
- BB код
Если необходимо можно добавить, например, markdown разметку. В шаблоне доступны переменные:
- %image% - ссылка на картинку
- %ad% - ссылка на страничку
- %thumb% - ссылка на миниатюру
- %filename% - имя файла на хосте
История загрузок.
Скриншот экрана. (Shift + click или клик колёсиком)
Многоязычность. Сразу есть русский и английский языки.
Отображение самого апплета в виде иконки, текста или того и другого одновременно.
В диалоге выбора файлов сделан фильтр только изображений, а так же сразу показывается миниатюра.
При drag&drop так же в диалоге подтверждения отображается миниатюра.
Добавлены отступы, соответсвенно выглядят окошки симпотичней.

Скачать: deb-пакет или исходники

Так же можно стянуть из svn.

Практически всё что хотел реализовал, так что дальше апплет, скорей всего, развиваться не будет.

Imageshack.us applet

Довольно часто необходимо показать кому-нибудь фотографию или скрин. Самое простое - воспользоваться каким-нибудь фотохостингом. Но очень лениво каждый раз набирать http://imageshack.us или http://tinypic.com, а потом выискивать нужный файл. Захотелось как-нибудь это дело упростить. Первая мысль - должен быть апплетик к gnome panel, с помощью которого всё было бы гораздо проще. Поискал в гугле, но, на удивление, ничего не нашёл. Пришлось написать самому.

Итак. Встречаем Imageshack.us Applet!

Собственно вот эта надпись "Host it!" и есть весь апплет. Если щёлкнуть на него левой клавишей - выскочит обыкновенное окошко с выбором файла. После выбора он сразу начнёт загружать изображение на сервер. Так же поддерживается Drag&Drop. Просто перетащите картинку на эту надпись, апплет тут же спросит действительно ли вы хотите выложить этот файл (вдруг случайно не там отпустили его), если всё верно, то начнётся upload.

После того как изображение загрузится появится окошко с миниатюрой, ссылочками и кодом.

Чтобы скопировать ссылку (или код) нужно щёлкнуть по нему, он сразу окажется в буфере обмена.

Скачать: deb пакет или исходники.

Требует python 2.5 и PIL

Последние книги с imhonet

Всё что написано ниже уже не работает

Есть такой интересный сервис imhonet.ru, он позволяет оценивать книги\фильмы\всякое другое, а так же на основе этих оценок даёт рекомендации. И всё бы хорошо, но мне захотелось показывать последние прочитанные книжки в блоге, а имхонет никак не отдаёт данные. Пришлось написать небольшой парсер, который в результате отдаёт json который элементарно разбирается где угодно. Сделал его отдельным django приложением, а так же нарисовал маленький виджет. Посмотреть на него можно в разделе "обо мне".

Если тоже есть желание доставать оттуда книжки, то ссылочка http://cyxapeff.org/imhonet/%username%/json/?n=%n% поможет (где %username% соответственно ваш ник на imhonet, а %n% колличество книжек). (естественно оно кэшируется, кэш обновляется каждые 6 часов)

Если лень разбирать json, можно повесить такой же виджет как у меня. Вставляется он так (требует jquery):

<script type="text/javascript" src="http://cyxapeff.org/imhonet/%username%/widget/?n=%n%"></script>
<div id="imhonetWidget"></div>

Наконец-то обновил блог

Наконец дошли руки залить все изменения в блоге на сервер. Изменений куча. Но большинство из них внутренние (проверка коммента на спам с помощью akismet, полноценная своя админка и тд). Для пользователя же видно:

Новая форма для комментариев. Теперь можно использовать markdown и получать уведомления о новых комментариях.
Прикручено новое приложение: портфолио.
Облако тегов по другому формируется.

Как обычно оно плохо протестировано, так что может отдавать ошибки.

Google Insights for Search

Гугл показал свой новый сервис Google Insights for Search и первое что пришло на ум посмотреть это частату запросов по django. Вполне логично что за последние 2 года интерес растёт, но что меня порадовало: по запросам "django" и "django python" на первом месте Russian Federation. Хотя судя по сайтам о джанго, русское сообщество далеко не самое большое.

Django-fileman

Я уже писал о моём файловом менеджере на Django+jQuery. И вообщем-то с того времени я его и не трогал. А тут вот ещё немного покрутил. Конечно это по прежнему глючная, недоделанная поделка, но теперь банановая! Всмысле умеет показывать текстовые файлы и картинки, а так же даёт скачать любой файлик.

Выглядит это примерно так:

Ну и кому интересно - внутри оно тоже чуток красивее стало.

wrTorrent.py

Пишу свою веб морду к rTorrent. Конечно же на питоне. В качестве фреймворка взял лёгкий и удобный web.py, после джанго ощущения довольно смешанные. В отличии от django этот фреймворк практически ни к чему не принуждает, научится работать с ним гораздо проще. Но шаблоны после джанговских настолько неудобные...

Вернёмся к wrTorrent.py (да, я знаю, что название убогое :)), это такой пробничек. На данный момент умеет только показываеть все торренты, добавлять, останавливать, возобновлять и удалять их. Никаких красявостей или ajax'a пока нет.

Выглядит это вот так:

Если кому-нибудь интересно на это посмотреть вблизи, милости прошу: wrTorrent.py-0.0.1.tar.gz

Установка

Включите в rtorrent поддержку scgi. (как это делается можно прочитать на офф сайте)
Установите web.py 0.22 (http://webpy.org)
Запустите wrTorrent.py коммандой "python code.py" или "python code.py порт" (порт по умолчанию 8080)
Откройте в браузере http://domain:port/settings/ Настройки: Protocol: scgi или xmlrpc (первый возможно использовать только если rtorrent и wrtorrent.py запущены на одной машине) URL: адрес rtorrent (example: scgi://127.0.0.1:5000 или http://192.168.0.2) Domain: адрес wrtorrent.py, к нему обращается rtorrent, чтобы забрать torrent файл, который вы загрузили с помощью кнопочки "обзор".
Всё. http://domain:port/ - можно пользоваться.

Rss потоки с torrents.ru

Завязка

Всем известно, что популярный bit torrent треккер torrents.ru не предоставляет rss потоки с новыми темами на форуме. Естественно это очень не удобно. Приходится постоянно заходить на сайт и просматривать чего нового появилось + высок шанс чего-нибудь интересного пропустить. Попользовавшись поиском по форуму я понял, что в ближайшее время rss особо не планируется. Поэтому я написал очередной небольшой велосипедик.

Принцип работы

Каждые 15 минут сервис скачивает первую страницу нужного форума, выдирает все темы, проверяет есть ли такая темы в его базе данных и если нет, то добавляет. Естественно он может пропускать темы при большой активности на форуме или при длительной недоступности torrents.ru, но в общем справляется со своими обязаностями.

Тоже так хочу!

Тогда скачиваем этот архивчик, прикручиваем его к django проекту. Не забываем в cron.py прописать свою куку и суём его в крон. Затем через админку добавляем интерисующие нас форумы. Вуаля. Фиды можно добавлять в свой любимый агрегатор.

Посмотреть на это в действии можно у меня: http://home.cyxapeff.org/trss/

С новым годом!

Поздравляю всех посетителей моего блога с новым 2008 годом!

Обновление

Нарисовал новый дизайн и прикрутил "темы" к блогу.

Сменил урлы записей. Исправил баги, уменьшил колличество запросов к базе данных в несколько раз. Думаю уже скоро будет не стыдно и исходный код показать. :)

Извращаемся на django

Сделал тут файловый менеджер на django + jQuery. :D

Очень сырой, но в общем - работает...

Посмотреть код и скриншоты

Пишем Tv программу на Django. Часть 4

Ну вот, не прошло и пол года и новая часть рассказа о создания tv программы готова. :)

В этой части мы будем обвешивать нашу программку javascript'ом. И ещё немножко всякого интересного.

В первую очередь уберём маленькую недоработочку. А именно, я совсем забыл при нажатиях по кнопкам менять режим у пользователя с "Показывать только актуальные" на "Показывать все". И наоборот. Для исправления нужно всего лишь в функциях day и chanal дописать:

    if request.GET.has_key("allday"):
        setting.Mode = 1
        setting.save()
    elif request.GET.has_key("new"):
        setting.Mode = 0
        setting.save()

Ну и в шаблоне ссылку с ? поменять на ?new.

Так же хочу сообщить, что тв программка стала чуть-чуть посимпатичней. Дизайн переделал опираясь на тему админки. Даже css и картинки почти полностью оттуда содраны. Выглядит главная страничка теперь примерно так:

Правда мне было очень-очень лень доделать всё это поэтому нормально смотрится оно пока только в ff. Ну и валидацию, я думаю вряд ли пройдёт. Но со временем всё исправится.

Вернёмся к ajaxизации. Для этого я использовал очень удобный framework под названием jQuery. В общем-то какой фреймворк использовать или вообще его не использовать решать только Вам, т.к django это без разницы. Но мне нравится jQuery, поэтому все примеры будут на нём.

Итак, что я хочу делать при помощи javascript: 1. Формочки входа и регистрации должны появляться без перезагрузки страницы. 2. Добавлять\Удалять каналы с главной страницы так же нужно без перезагрузки. 3. Должна быть возможность "таскать" эти самые каналы по страничке. 4. На странице с одиночным каналом информация о фильме должна подгружаться при наведении курсора на строчку с фильмом. 5. Чуть-чуть оживить всё разными эффектами.

Для этого мне понадобился помимо самой jQuery довольно большой список плагинов. Вот вырезка из base.html:

<script type="text/javascript" src="/media/jquery.js"></script>
<script type="text/javascript" src="/media/ui/jquery.dimensions.js"></script>
<script type="text/javascript" src="/media/ui/ui.mouse.js"></script>
<script type="text/javascript" src="/media/ui.draggable.js"></script>
<script type="text/javascript" src="/media/ui.droppable.js"></script>
<script type="text/javascript" src="/media/ui/ui.sortable.js"></script>
<script type="text/javascript" src="/media/thickbox-compressed.js"></script>
<script type="text/javascript" src="/media/tv/tv.js"></script>

Плагины начинающиеся с ui, а так же jquery.dimensions.js это стандартные jQuery UI плагины. Эта библиотечка позволяет без труда использовать различные визуальные эффекты на своём сайте. Подробнее можно прочитать на офф сайте. Thickbox это плагин реализующий нечто вроде popup'а. Ну а tv.js это собственно мой код.

Т.к. я хочу оставить возможность без проблем пользоваться сайтом и тем у кого js отключён, то ссылки напрямую я не переписываю, а использую встроенную в jQuery функцию ready.

$(document).ready(function() {
    $("#a_log").attr("href", "#TB_inline?height=110&width=250&inlineId=log_form");
    $("#a_reg").attr("href", "#TB_inline?height=150&width=250&inlineId=reg_form");
    $("#a_addchannel").attr("href", "javascript:getNewChannels();");
    $(".actions > a").each(function() {
        t = $(this).attr("href").split("/")
        $(this).attr("href", "javascript:del("+t[$(t).size()-2]+");");
    });
    $(".one > ul > li > a").each(function() {
        $(this).attr("onmouseover", 'get_description("'+$(this).attr('href')+'");');
    });
    $("#channelsList").sortable({change: newPlaces, hoverClass: "hover" });
});

Как видно эта функция после загрузки документа переопределяет ссылки и применяет функцию sortable к списку.

Первые две строчки заставляют выскакивать формы входа и регистрации. Которые до этого и так существовали на странице, но были скрыты. Для красоты используется Thickbox. Вот так оно выглядит:

Сами же формы при отправки данных просто переходят на другую страницу. Так что ничего интересного здесь нет.

А вот на добавлении каналов я остановлюсь чуть подробнее. При нажатии на ссылку "Добавить канал" выполняется функция getNewChannels() задача которой получить с сервера список ещё не добавленных на главную страницу каналов и изменении этой ссылки в список с этими каналами, либо в сообщении что каналов больше нет.

function getNewChannels() {
    $("#addchannel").text("Подождите...");
    $.get('/tv/addchannels/?xhr', successNewChannels);
}

Первой строчкой меняем ссылку на просьбу подождать, второй выполняем get запрос на сервер по адресу /tv/addchannels, указав параметр xhr. Когда ответ получен вызывается callback функция successNewChannels.

Итак, что же должен возвращать сервер. Функция addchannels у нас уже существовала. Я её лишь немного переделал:

@login_required
def addchannels(request):
    xhr = request.GET.has_key('xhr') # Смотрим пришёл нам запрос с параметром xhr или без
    user=request.user
    setting = user.tv_Setting
    userchannels = []
    for place in setting.Channels.all():
        userchannels.append(place.Channel)
    channels=[]
    for channel in Channel.objects.all():
        if not channel in userchannels:
            channels.append(channel)
    if xhr: # Если с параметром, то отдаём xml, а не html.
        out = '<?xml version="1.0" encoding="UTF-8"?>\n'
        out += '<channels>'
        for channel in channels:
            out += '<channel id="%d">%s</channel>' % (channel.id, channel.Title)
        out += '</channels>'
        return HttpResponse(out, "text/xml")
    else:
        c = {
            "date": None,
            "display": user.tv_Setting.Mode,
            "user": user,
            "newchannels": channels,
            "channel": None,
        }
    return render_to_response('tv/addchannels.html', c)

По большому счёту, я думаю по коду всё понятно. Но всё же я остановлюсь на некоторых моментах. Декоратор @login_required заменяет используемую до этого конструкцию if request.user.is_authenticated() ... else. Если пользователь не авторизован он автоматически отсылается на страницу входа. При асинхронном запросе я отдаю xml, хотя это не принципиально. Вы вполне можете использовать JSON, XML или даже plain text для возвращения данных. Что джанго, что любая приличная js библиотека позволяет работать и с тем и с другим и с третьим без особого труда. Мне же показалось здесь самым логичным использовать xml. Т.к. код очень простой, я не стал использовать какие-то библиотеки, а просто в переменную сразу пишу текст с тегами.

И так, xml отправлен клиенту и successNewChannels принимается его обрабатывать.

function successNewChannels(xml) {
    channels = $("channel", xml);
    if (channels.size()>0) {
        result='<select id="select_newchannel">';
        channels.each(function() {
            result=result+'<option value="'+$(this).attr("id")+'">'+$(this).text()+'</option>';
        }
        );
        result+='</select><input type="button" onclick="AddChannel()" value="Добавить">';
    }
    else {
        result="Нет каналов";
    }
    $("#addchannel").html(result);
}

Мне кажется очень удобной фишкой jQuery это обрабатывать что угодно (html, xhtml, xml) при помощи синтаксиса css3. Хотя в данном конкретном примере это и не используется. Ну вот, список мы сформировали, показали его пользователю он чего-то выбрал и нажал кнопочку "Добавить".... И что же происходит? Да почти в точности тоже самое:

function AddChannel() {
    channel = $('#select_newchannel').val();
    $("#addchannel").text("Подождите...");
    $.post('/tv/addchannel/?xhr', {'select_newchannel': channel, 'date': current_date}, successAddChannel);
}

Только на этот раз мы посылаем не get, а post запрос. А так же сообщаем серверу дату, за которую нас программа интерисует.

@login_required # а ТЫ авторизирован?!
def addchannel(request):
    user=request.user
    if request.POST:
        if request.POST.has_key('select_newchannel'):
            channel=get_object_or_404(Channel, id=request.POST['select_newchannel']) # достаём канал из базы по его id, или 404.
            place = createPlace(user, channel) # создаём place
            user.tv_Setting.Channels.add(place) # и добавляем его юзеру
            xhr = request.GET.has_key('xhr')
            if xhr:
                channel = get_channel(user.tv_Setting.Mode, request.POST['date'], channel)
                out = '<?xml version="1.0" encoding="UTF-8"?>\n'
                out += '<channel>'
                out += '<title id="%d" slug="%s" img="%s">%s</title>' % (channel.id, channel.Slug, channel.Icon, channel.Title)
                out += '<programs>'
                for program in channel.programs:
                    out += '<program time="%s">%s</program>' % (program.Time, program.Title)
                out += '</programs>'
                out += '</channel>'
                return HttpResponse(out, "text/xml")
        elif request.POST.has_key('schannel'):
            for id in request.POST.getlist('schannel'):
                channel=get_object_or_404(Channel, id=int(id))
                place = createPlace(user, channel)
                user.tv_Setting.Channels.add(place)
    if request.GET.has_key("next"):
        return HttpResponseRedirect(request.GET['next'])
    return HttpResponseRedirect('/tv/') # кидаем на главную

В точности так же возвращаем xml. И разбираем его формируя уже html код.

function successAddChannel(xml) {
    $("#channelsList").sortableDestroy();
    if ($("#channelsList > li").size()==0) {
        $("#channelsList").html("");
    }
    title = $("title", xml);
    result = '<li class="channel" id="channel-'+title.attr("id")+'">';
    result = result + '<div class="actions"><a href="/tv/delete/'+title.attr("id")+'"><img src="/media/tv/icon_deletelink.gif" alt="удалить"></a></div>';
    result = result + '<h2><a href="/tv/'+title.attr("slug")+'">'+title.text()+'</a></h2>';
    programs = $("program", xml);
    if (programs.size()>0) {
    result = result + '<ul>';
    programs.each(function() {
        result = result + "<li><b>"+$(this).attr("time")+"</b> "+$(this).text()+"</li>";
    });
    result = result + '</ul>';
    }
    else {
        result = result + "Нет телепрограмм"
    }
    result = result + "</li>"
    $("#channelsList").append(result);
    checkBrowserWidth();
    $("#channelsList").sortable({change: newPlaces, hoverClass: "hover" });
    $("#addchannel").html('<a href="javascript:getNewChannels();" id="a_addchannel">Добавить канал</a>');
}

Придётся забежать немного вперёд sortableDestroy() это функция из jQuery UI, которая убирает возможность таскать элементы списка, sortable() соответсвенно даёт эту возможность. Но в связи с особенностями реализации этой штуки при добавлении элемента в такой список, необходимо убирать "таскание" и снова его применять.

Ну вот, с добавлением канала без перезагрузки страницы разобрались. Удаление ещё проще. Его я даже не буду комментировать. Просто приведу код.

function del(id) {
    $("#channelsList").sortableDestroy();
    $.get('/tv/delete/'+id+'/?xhr');
    $("#channel-"+id).slideUp("slow", function() {
    $("#channel-"+id).remove();
    checkBrowserWidth();
    });
    $("#channelsList").sortable({change: newPlaces, hoverClass: "hover" });
}

@login_required
def deletechannel(request, item_id=None):
    setting = request.user.tv_Setting
    if request.POST:
        if request.POST.has_key('schannel'):
            for item_id in request.POST.getlist('schannel'):
                channel = get_object_or_404(Channel, id=int(item_id))
                place = get_object_or_404(setting.Channels, Channel=channel)
                setting.Channels.remove(place)
                place.delete()
    else:
        channel = get_object_or_404(Channel, id=item_id)
        place = get_object_or_404(setting.Channels, Channel=channel)
        setting.Channels.remove(place)
        place.delete()
        xhr = request.GET.has_key('xhr')
        if xhr:
            return HttpResponse("success")
    if request.GET.has_key("next"):
        return HttpResponseRedirect(request.GET['next'])
    return HttpResponseRedirect('/tv/')

Далее по списку у нас возможность перетаскивания каналов по главной странице. По большому счёту оно уже таскается. Осталось только заставить его запоминать положение.

Как я уже говорил sortable() реализует перетаскивание. Если же передать ей параметр change, с названием нашей callback функции, то мы сможем при любом изменении положения каналов сообщать об этом серверу. У меня это выглядит так:

$("#channelsList").sortable({change: newPlaces});

Сама же функция newPlaces выглядит так:

function newPlaces() {
    checkBrowserWidth();
    result = "";
    $("#channelsList > li").each(function() {
        result=result+$(this).attr("id")+",";
    });
    $.get('/tv/changeplaces/?xhr', {'update': result});
}

То есть перебираем все элементы списка и их id записываем в строку, которую отправляем серверу. Сервер эту строку успешно ловит, разбивает по запятой, проходится по всему получившимуся массиву и меняет place.N (место в списке) на итеррационную переменную i. Полностью функция changeplaces у меня получилась такой:

@login_required
def changeplaces(request):
    setting = request.user.tv_Setting
    if request.GET.has_key('up'):
        place = get_object_or_404(setting.Channels, Channel__id=request.GET['up'])
        place2 = get_object_or_404(setting.Channels, N=place.N-1)
        place.up()
        place2.down(setting.Channels.count())
    elif request.GET.has_key('down'):
        place = get_object_or_404(setting.Channels, Channel__id=request.GET['down'])
        place2 = get_object_or_404(setting.Channels, N=place.N+1)
        place.down(setting.Channels.count())
        place2.up()
    elif request.GET.has_key('update'):
        channels = request.GET['update'].split(",")
        i=0
        for channel in channels[:-2]:
            place = get_object_or_404(setting.Channels, Channel__id=int(channel[8:]))
            place.N = i
            place.save()
            i+=1
    if request.GET.has_key('xhr'):
        return HttpResponse("success")
    channels = []
    for place in setting.Channels.order_by('N'):
        channels.append(place.Channel)
    nchannels=[]
    for channel in Channel.objects.all():
        if not channel in channels:
            nchannels.append(channel)
    c = {
        "channels": setting.Channels.order_by('N'),
        "date": None,
        "display": setting.Mode,
        "user": request.user,
        "channel": None,
        "nchannels": nchannels,
    }
    return render_to_response('tv/changeplaces.html', c)

Если параметром передали update, то выполняем то, что я сейчас как раз и описал. up и down нужны для изменения положения каналов через "Настройки". Кстати "Настройки" выглядят так:

Функции up и down для place определены прямо в модели и ничего интересного из себя не представляют:

def up(self):
    if self.N>0:
        self.N-=1
        self.save()
        return self.N
    else:
        return None
def down(self, all):
    if self.N<all:
        self.N+=1
        self.save()
        return self.N
    else:
        return None

Ну что? С перетаскиваем тоже разобрались? Надеюсь, что да.

Как сделать подгрузку описания фильма, я думаю все уже догадались. Если нет, смотрите код. Красявости понятие очень субъективное и стандартных эффектов вроде slideUp, а так же thickbox по моему скромному мнению вполне достаточно. Так что и этот пункт можно вычёркивать.

На этом пожалуй на сегодня всё. К следующему посту будет необходимо исправить кучу оставленных багов, а так же прикрутить какое-то внешнее api.

Проект как обычно можно забрать из svn: http://tvwatcher.googlecode.com/svn/tags/post4

Ну и на закуску скрин с описание фильма:

Обновление PR

Как уже всем известно, прошлой ночью был ап PageRank. Затронул он и этот блог PR подскочил с 0 до 2. Радостно. :)

Наконец-то!

Наконец в Google Reader появился поиск!

Мега удобная вещь, давненько её ждал.

Sape клиент

Написал тут на досуге Sape-клиент под мой телефон.

Делает элементарные вещи, заходит на сайт и смотрит баланс. Показывает его Вам и сохраняет в базу данных. Затем можно эту статистику посмотреть. Когда нет доступа к компьютеру (в отпуске например) очень удобно.

Написан на python под symbian 7,8. Для запуска нужен сам питон.

Исходный код доступен после установки в файле !:\System\Apps\SapeInfo\default.py (советую всем на всякий случай посмотреть и удостовериться, что программка никуда ваши логин\пароль не отсылает кроме как на саму сапу)

Скачать sis пакет.

Новые фичи

Прикрутил парочку новых фич к блогу. А именно: - Авторизацию по OpenId. Вы можете 1 раз написать комментарий использую openid, после чего форум будет Вас "помнить". (до конца сессии) Имя берётся из hCard. (спасибо Maniac) - Rss лента комментариев к каждой статье. - Ну и кое-что подправил.

Обзор программ для работы с iPod под Linux.

Когда я покупал свой iPod, то удостоверился, что есть возможность работать с ним из Linux.

И вот уже пол года использую gtkpod. Но не всё мне в нём нравится и я решил посмотреть что же ещё есть в линуксе для iPod'a. Всё действо будет происходить на моём компьютере с Debian Lenny, в качестве плеера iPod Nano Green 4Gb второго поколения.

Начну с того, что большинство медиа комбайнов под Linux поддерживают iPod в той или иной мере. Но существуют так же и специальные программки, предназначенные исключительно для iPod'a. Я не люблю сильно заморачиваться с софтом. Поэтому почти всегда ставлю софт только из репозитария дебиана. Поэтому почти весь рассмотренный здесь софт будет оттуда же. Я не углублялся в каждую программу отдельно, не искал плагины, не устанавливал какие-то дополнительные пакеты. Поэтому вполне возможно, что у какой-то программы интеграция с ipod'ом может быть гораздо лучше. (можете оставить свои комментарии и недовольства в комментариях)

Ну а теперь подробнее:

Exaile Music Player

Этот плеер попытка создать клон амарока на gtk. Не буду сравнивать с амароком в качестве плеера. Сейчас меня интересует только его работа с iPod. Для того чтобы он "научился" работать с iPod нужно включить плагин "iPod Device Driver". После этого в главном окне появляется вкладка Devices. В ней выбираем iPod Device Driver. Упс. Не нашёлся наш айпод. Снова идём в плагины и указываем директорию куда он монтируется. Коннектимся. Появляется структура нашего айпода. Теперь мы можем слушать с него музыку, сделано довольно удобно. Отличий работы с коллекцией айпода от собственной коллекции нет. А вот плейлисты айпода по-крайней мере у меня работать отказались. Они отображаются слева в списочке, но открываться не хотят. Как добавлять туда музыку я не нашёл, окошко переноса музыки появляется, но как туда что-то добавить - не понятно... Вывод: поддержка айпода есть, но она сделана очень странно.

Banshee

Ещё один плеер на gtk под Gnome. Запускаем. Подключаем айпод. Отлично. Тут же появился пункт IPOD. Переходим и... облом.

"Невозможно считать данные с вашего Ipod". Спросим "В чём причина этого?". Говорят, использован слишком новый iTunes. И Banshee не может понять базу, которую создал этот самый новый iTunes. И тут же предлагается 2 варианта решения: 1) Подождать пока Banshee научится понимать эту базу. 2) Повторно создать базу данных iPod.

Ладно попробуем пересоздать... Мда. Спасибо Banshee. Базу создал ты конечно создал, но прочитать русские названия был не в силах. При этом всё было в utf8 и ни один плеер никогда себе такого не позволял.

Ладно глянем всё-таки что он ещё умеет. И так: Умеет показывать свойства айпода (имя устройства определил не правильно). Синхронизироваться с ним. Хотя как происходит синхронизация - не очень понятно. Но рисковать не стал. :) Импортировать из него музыку.

Плюс сам Banshee умеет работать с подкастами соответственно и синхронизировать их должен смочь.

Как быстро переходить к артистам, альбомам не нашёл. Все песни отображаются в одном списке. Видимо необходимо использовать "поиск" и создавать "умные"плэйлисты.

Вывод: Если вы не слушаете русскую музыку и, то можно использовать.

Rhythmbox

Аналогично Banshee сам определил ipod. И показал его в левой колоночке. Переходим. Бросается в глаза, что поначалу всё в куче. Но тыкаем в обзор и появляется такая же панелькак как и у iTunes с исполнителями и альбомами. Плейлисты не доступны. Скопировать туда тоже что-либо не удалось. Включениеотключение плагина iPod ничего не меняет. Зачем он нужен - непонятно.

Вывод: Аналогично Exaile поддержка iPod только на уровне "послушать".

Gtkpod

В отличии от выше рассматриваемых программ это не музыкальный комбайн, а отдельная утилита для работы с iPod. Для начала необходимо указать куда подмонтирован айпод и его модель. После этого получаем к нему доступ. Есть панелька сортировки аля iTunes. Есть доступ к подкастам.

Ну а теперь о возможностях. Музыку можно слушать (через внешнюю утилиту, указывается в настройках) Песни можно удалять, редактировать им теги, импортировать на локальный компьютер. Добавлять музыку можно как через меню, так и Drug-and-Drop. Директориями и отдельными файлами. Есть возможность синхронизироваться с определённой директорией. Работа с плэйлистами. Синхронизация подкастов. Можно скробблить прослушанные треки в Last.fm Есть возможность синхронизировать контакты, записки, календарь (но только через внешние утилиты)

Вывод: Наверное лучшая программа под Linux для работы с iPod. Позволяет делать с музыкой и айподом всё что только можно. Но имхо, интерфейс у неё не очень удобный. + лично мне удобней когда всё находится в одном месте.

Tripod

Первая утилита в обзоре на QT. Позволяет загружать фотографии на свой ipod. Программка очень странная. Она помимо просто загрузки фотографий позволяет создавать альбомы, но перемещать туда фотографии невозможно. Кнопкаtransfer для не дефолтного альбома недоступна. После того как я загрузил фотографии и зашёл в фототеку увидел: миниатюры некоторых фотографий отображаются 2 раза. Других же просто нет. (квадратик и в нём точка) Посмотреть картинку так же не удалось просто чёрный экран. После этого мойiPod завис и помогла только перезагрузка. Удалить им же фотографии не удалось.

Вывод: использовать только на свой страх и риск. А лучше вообще не использовать.

Amarok

Очень популярный плеер под kde. Автоматически определить ipod он так же не сумел. (возможно в kde всё будет ok) Но спустя пору минут в разделе настройки и он становится виден. Умеет играть музыку прямо с айпода. Копировать её в свою коллекцию. Работать с плэйлистами. Редактировать теги. Загружать музыку на iPod. Работать с подкастами. Сделано всё довольно удобно и просто.

Вывод: если бы он был на gtk, я бы сказал, что это лучшее решение в качестве музыкального проигрывателя+ipod. Kde'шники - ликуйте. :) Но мне он не подходит, поскольку всё окружение у меня на gtk.

YamiPod.

Ещё одна утилитка предназначенная только для работы с ipod'ом. Огромный плюс этой утилиты её кроссплатформенность. Есть сборки и под винду и под линукс. Не требует какой бы то ни было установки. Её можно, например, кинуть на сам айпод и таскать с собой. Тогда на любом компьютере Вы без проблем сможете скопировать музыку в обоих направлениях. Автоматически нашла айпод, всё сделано довльно удобно и красиво. Умеет: - Играть - Импортировать - Экспортировать - Синхронизировать - Работать с заметками - Работать с плэйлистами

Но есть один бааальшой минус, который перечёркивает все плюсы. Она страшно тормозит. По-крайней мере у меня под линуксом.

Вывод: если у Вас оно не тормозит, то пожалуй будет одной из лучших программ для ipod.

Заключение

Как видно, программ под Linux для работы с айподом великое множество. Если же Вам не понравилась ни одна из перечисленных здесь программ, вы можете поискать другие. Так же существуют библиотеки для работы с iPod (именно их использует большинство перечисленных здесь программ), благодаря этому вы можете написать свою идеальную программу не разбираясь в тонкостях работы плеера.

Новый блог

Ну вот наконец сделал себе новый блог! Ну и конечно же зарегистрировал красивый домен.

Естественно, блог написан на джанго. А так как нормального (и дешёвого) shared хостинга с джанго нет, пришлось взять себе vds. Взял самый простой, да ещё и в США, так что скорость может не очень радовать.

Соответственно поменял мыло и адрес фида. Новые адрса: RSS: http://feeds.cyxapeff.org/CyxapeffBlog E-mail: max@cyxapeff.org Скорей всего джаббер тоже вскоре будет иметь красивый адрес. (использую службы google)

Движок особо не тестил, так что возможны всякие глюки и баги. :)

Мир Тесен

Есть инвайты на Мир Тесен. (обзор)

Кому надо - обращайтесь.

Пишем Tv программу на Django. Часть 3

как обычно код этого поста тут: http://tvwatcher.googlecode.com/svn/tags/post3

Наконец пришло время создать view. Вид. То, что будет видеть обычный пользователь когда зайдёт к нам на страничку.

В самом начале я задумывался о xml+xslt, но немножко подумав как это реализовывать пришёл к выводу, что в таком случае я потеряю очень мощный инструмент django. Его шаблоны. Поэтому будем делать на обыкновенном html4.

Первым делом я открываю Gimp и рисую макет будущей страницы... (чёрт, похоже я его уже потерял, вобщем поверьте на слово я его нарисовал)

Затем режу эту картинку и верстаю тестовую страничку. Привожу к виду как на картинке.

В результате оно стало выглядеть примерно так:

Да, не очень красиво. Особенно цвета. Ну да ладно...

Теперь нужно выделить основной код который будет повторяться на всех страницах. Это будет наш base.html, который мы закинем в ownproject/templates/tv/.

Если вы уже ознакомились с официальным туториалом, то знаете, что в шаблонах у джанго свой мини язык. Вот пользуясь им и создаём наш base.html

У меня получилась вот такая штука:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01//EN" "http://www.w3.org/TR/html4/strict.dtd">
<html>
<head>
<title>{% block title %}Tv программа{% endblock %}</title>
<script type="text/javascript" src="/media/tv/css.js"></script>
<meta http-equiv="content-type" content="text/html; charset=UTF-8">
<link href='/media/tv.css' type='text/css' rel='stylesheet'>
</head>
<body>

<div id="upperbar">
    {% block upbar %}
    <div id="menu">{% if user %}
            <a href="">Настройки</a> | <a href="/tv/logout/">Выход</a>
        {% else %}
            <a href="/tv/login/?next=/tv">Войти</a> |
            <a href="/tv/registration">Регистрация</a>
        {% endif %}</div>
    <div id="hello">Здравствуйте, {% if user %}
        {{ user.username }}!
        {% else %}
        Гость!
        {% endif %} | {% now "d F Y H:i" %}</div>
    {% endblock %}
</div>

<div id="upmain">
    <h1 id="logo">Tv программа</h1>
</div>

{% block week %}
    {% load menu_ex %}
    {% menu display date chanal %}
{% endblock %}

    {% block content %}{% endblock %}
</div>

</body>
</html>

Как видно в теге title написано {% block title %}Tv программа{% endblock %}. Это значит, что по умолчанию название страницы будет Tv программа, но мы можем его изменять в любом наследующем шаблоне, переопределив block title. То же самое происходит с upbar, week и content.

Так же на каждой странице будет отображаться верхний блок с днями недели и тп. Чтобы не таскать одно и то же из функции в функцию в view, я вынес их в отдельный шаблонный тег.

Для этого создаём папочку ownproject/tv/templatetags. В ней пустой файл __init__.py и menu_ex.py который собственно и является нашим тегом. Ничего особо интересного там нет. Так что кому интересно смотрим в svn. (вообще туда заглядывать просто обязательно! в самих постах очень многое пропущено) Единственно что стоит отметить, это то как сказать django что это именно тег. Делается это примерно так:

from django import template
register = template.Library()
def menu(display=0, date=None, chanal=None):
    ...
register.inclusion_tag('tv/menu.html')(menu)

Таблица стилей и яваскрипт не случайно положены в папку media. Дело в том, что встроенный веб сервер django не умеет просто так отдавать статику. Поэтому все картинки, js, css и тп обычно скидывается в какую-нибудь папку, например ownproject/media. Затем открывается ownproject/urls.py и дописывается такая строчка:

(r'^media/(?P.*)$', 'django.views.static.serve', {'document_root': settings.MEDIA_ROOT}),

В ownproject/settings.py определяем переменную MEDIA_ROOT. В моём случае:

MEDIA_ROOT = '/mnt/H/My Developement/django/mysite/media/'

И если директория была названа media, то необходимо изменить ADMIN_MEDIA_PREFIX, например на amedia. (всё это в том же файле settings)

Ну вот. Теперь можно попробовать начать создавать нашу главную страницу. Создадим файл /ownproject/tv/urls.py и пропишем там:

from django.conf.urls.defaults import *
from django.conf import settings
from tv import views

urlpatterns = patterns('',
    (r'^$', views.index),
}

Отлично. Теперь при попытке зайти на http://127.0.0.1:8000/tv будет вызываться функция index из ownproject/tv/views.py. Правда её ещё нет. :)

Займёмся её написанием... Хотя нет. Стоп! Что такое главная страница? Это телепрограмма на сегодня. То есть это то же самое, что и по ссылкам Пн, Вт, Ср, Чт и тд. Только дата устанавливается автоматически. Логично было бы написать функцию которая будет работать с любой датой, а в index просто вызывать её с сегодняшней датой. Этим и займёмся.

def index(request):
    return day(request, time.strftime("%Y-%m-%d"))

Нарисуем шаблон list.html, который будет выводить каналы.

def day(request, date):
    if request.user.is_authenticated(): # Проверяем авторизирован ли юзер
        user=request.user
        setting = user.tv_Setting
        display = tv_Setting.Mode # режим отображения берём из настроек
        chanals = []
        for place in setting.Chanals.order_by('N'): # Извлекаем из базы "места" сортираю по его номеру
            chanals.append(place.Chanal) # и добавляем в массив связанные с ними каналы
    else: # иначе юзер у нас None, а каналы просто первые четыре штуки
        user = None
        chanals = Chanal.objects.all()[:4]
        display = request.GET.has_key("allday") # режим отображание смотрим по тому есть ли в адресе переменная allday
    for chanal in chanals: # для каждого канала необходимо вызвать функцию get_chanal, чтобы добавить в них информацию из других таблиц
        chanal = get_chanal(display, date, chanal)
    c = { # именнованный массив который мы отдаём в шаблон
        "chanals": chanals,
        "date": date,
        "display": display,
        "user": user,
        "chanal": None,
    }
    return render_to_response('tv/list.html', c)

Ну и посмотрим на ownproject/templates/tv/list.html. Там тоже ничего сложного:

{% extends "tv/base.html" %}
{% block content %}
    {% if user %}
        <div id="addchanal"><a href="/tv/addchanals">Добавить канал</a></div>
    {% endif %}
    {% if chanals %}
        {% for chanal in chanals %}
            <div class="chanal">
                {% if user %}
                    <div class="actions"><a href="/tv/delete/{{ chanal.id }}"><img src="/media/tv/icon_deletelink.gif" alt="удалить"></a></div>
                {% endif %}
                {% if chanal.Icon %}
                <img src="{{ chanal.Icon }}">
                {% endif %}
                <h2><a href="/tv/{{ chanal.Slug }}">{{ chanal.Title }}</a></h2>
                <ul>
                    {% if chanal.programs %}
                        {% for program in chanal.programs %}
                        <li>{{ program.Time }}
                        {% if program.description %}
                            <a href="/tv/description/{{ program.description.id }}">{{ program.Title }}</a>
                        {% else %}
                            {{ program.Title }}
                        {% endif %}
                        </li>
                        {% endfor %}
                    {% else %}
                        Нет телепрограмм
                    {% endif %}
                </ul>
            </div>
        {% endfor %}
    {% else %}
        Нет каналов.
    {% endif %}
    <script>
    checkBrowserWidth();
    </script>
{% endblock %}

Говорим, что мы потомок base.html и переопределяем block content. Скрипт в конце необходим чтобы правельно выводить блоки с каналами. Здесь вообще довольно интересная история произошла. Изначально я нарисовал 2 колонки с каналами и каналы в своих колонках расположены один под другим. Вообщем получается как в той же бумажной телепрограмки. И вроде всё было хорошо, пока я не растянул свой браузер на всю ширину монитора (1280px). появилось просто ужасающее колличество свободного места. Тогда я все каналы сделал float:left, и стал выводить... Но конечно же получилось очень страшно, т.к у них у всех различная высота. Думал, думал, думал чего делать. Но так ничего лучше яваскрипта не придумал. Он смотрит на ширину окна браузера и в зависимости от него каждому Nому каналу ставит свойство clear: left. В результате получилось не совсем так как я хотел, но вроде более или менее нормально.

И так вернёмся к нашим баранам. Выделив функцию day, мы автоматически создали обработчик других дней. Поэтому дописываем в urls

(r'^(?P\d{4}-\d{2}-\d{2})/$', views.day),

Теперь можно перейти на сайт и потыкать по ссылкам. Оно должно работать. :)

Создание страничек с каждым каналом в отдельности и описанием тоже не представляют ничего интересного, поэтому на них можно посмотреть в svn. С добавлением\удалением канала у юзера то же самое. Поэтому и смотрим там же.

Теперь нужно к этому всему подключить пользователей. Как видно я уже учёл различное поведение для анонимного пользователя и авторизированного в виде и шаблонах. Поэтому осталось только сделать механизм входа\выхода\регистрации. Так как почти всё это в будующем будет заменено ajax'ом, то по возможности используем встроенные в django функции или элементарные формочки.

Для входа и выхода уже написаны полностью рабочие функции, осталось лишь прописать их в urls.

(r'^login/$', 'django.contrib.auth.views.login'),
(r'^logout/$', 'django.contrib.auth.views.logout'),

А вот регистрации готовой нет, поэтому набрасаем простенькую формочку в шаблоне. Django освобождает нас от необходимости прописывать бесмысленные функции в view, которые занимаются только тем, что рендерят шаблон. Вместо этого используем django.views.generic.simple.direct_to_template. В urls пропишем:

(r'^registration/$', 'django.views.generic.simple.direct_to_template', {'template': 'tv/registration.html'}),

Форма после заполнения будет вызывать функцию createuser: (r'^createuser/$', views.createuser),

Она опять же элементарна. Почти всё за нас делает django. Импортируем User из django.contrib.auth.models и authenticate, login из django.contrib.auth.

user = User.objects.create_user(request.POST['username'], '', request.POST['password']) # создаём пользователя
user.save() # сохраняем его
user = authenticate(username=request.POST['username'], password=request.POST['password']) 
login(request, user) # сразу же авторизируем
return HttpResponseRedirect('/tv/') # и кидаем на главную

Ну вот наверное и всё. В результате мы получили почти рабочий сайт с телепрограммой.

SMF. Злость!

Спросите что такое SMF? Это Садо-Мазо Форум! Руки бы поотрывал его разработчикам. Ну как можно ТАК сделать систему шаблонов?! Код и хтмл вперемежку это просто какой-то кошмар. Но приходится продолжать мучить себя им, т.к нет ни одного вменяемого бесплатного форума с нормальной интеграцией в drupal... Хотя эту реализацию тоже довольно сложно назвать нормальной... Вот после знакомства с такими приложениями я понимаю, что просто обожаю django. Джанго как и весь питон заставляет писать правильно (чего стоят отступы питона или в джанго хочешь не хочешь, а приходится разделять модель, вид и шаблон).

Пишем Tv программу на Django. Часть 2

Ну вот, модель мы создали. Таблицы создали. Теперь было бы их не плохо заполнить.

Заполнять будем парсером афиши@mail.ru Поэтому теперь мы будем злобными пиратами, ворующими чужой контент. Кому это не интересно можете пропускать эту запись сразу, а наполнять базу можно и какими-то легальными способами.

Мой способ - парсить майл.ру каждое воскресенье, доставая оттуда телепрограмму на следующую неделю. То есть сейчас необходимо написать какой-то скриптик, который потом нужно будет прописать в cron. И после этого мы всегда будем иметь актуальную информацию в нашей бд.

И так зайдём на http://pda.tv.mail.ru и выберем какой-нибудь канал. Смотрим урл, например: http://pda.tv.mail.ru/?gosetup=1&channel=365. 365 это тот Num который мы создавали в модели. Но как видно отображаются лишь актуальные телепередачи, поэтому переключимся в вид "весь день". Но теперь отображается программа на сегодня, а нам бы нужно бы иметь возможность получать программу на разные дни. Выберем какой-нибудь другой день... Замечательно! Спасибо мэйлу, нам необходимо только циклом ходить по страничкам вида http://pda.tv.mail.ru/?date=[date]&gosetup=1&period=3&channel=[Num] и парсить их.

Посмотрим исходный код... Шикарно, ещё один респект мэйлу от меня. Нужная нам информация находится в блоке между  и  Там простая табличка, которую не составит большого труда отпарсить, тем более программы с описанием выделены тегом "b". Описание фильмов находится в теге "p" с классом t75. Ну вроде бы в устройстве сайта разобрались, Парсим!

Создаём новый файлик, я его назвал core.py Подключаем стандартные питоновские модули HTMLParser и urllib, ну и дальше по мануалу (хотя наверняка можно написать гораздо красивее):

class ChanalHTMLParser(HTMLParser):
  """ Класс парсера для канала, создаём на основе HTMLParser """
  def __init__(self):
      HTMLParser.__init__(self)
      self.content=0 # несколько служебных переменных - переключателей
      self.flag=0
      self.result=[]
      self.buffer=[]
      self.flag2=0
  def handle_comment(self, data):
      """ Ищет в комментах необходимые строки """
      if "START: Programm Content" in data:
          self.content=1 # говорим что начались полезные данные
      elif "END: Programm Content" in data:
          self.content=0 # а теперь закончились

  def handle_starttag(self, tag, attrs):
      """ Функция вызывается при нахождении открывающего тега """
      if self.content==1: # Если мы внутри интересующий нас информации, то ищим в тегах
          if tag=="td":
              if len(attrs)>0:
                  if attrs[1][0]=="class" and attrs[1][1]=="time":
                      self.flag=1 # последующие данные, до закрытия тега будут временем
              else: # иначе ссылкой и названием программы
                  if self.flag==2: # конечно если тег со временем уже закрыт
                      self.flag=3 # говорим, что нашли строку с названием
          elif tag=="b" and self.flag==3: # встретили b - верный признак того, чтоо есть описание
              self.flag2=1 # сообщаем об этом
          elif tag=="a" and self.flag2==1 and self.flag==3: # а вот если встречаем a, то внутренность его нужна только если есть описание
              self.buffer.append(attrs[0][1]) # если всё ok, то добавляем ссылку в буффер

  def handle_data(self, data):
      """ Выполняется каждый раз когда оказывается 'внутри' тегов """
      if self.flag==1 or self.flag==3: # если там время или название
          self.buffer.append(data) # то добавляем их в буффер

  def handle_endtag(self, tag):
      """ Ну а эта функция соответсвенно проверяет закрывающие теги """
      if self.content==1: # снова делаем проверку
          if tag=="b":
              if self.flag2==1 and self.flag==3:
                  self.flag2=0 # обнуляем сообщение о описании
          if tag=="td":
              if self.flag==1: # если сейчас было 'время'
                  self.flag=2 # то сообщаем о том, что оно кончилось
              elif self.flag==3: # если было название
                  self.result.append(self.buffer) # до добавляем буфер к результату
                  self.buffer=[] # очищаем его
                  self.flag=0 # и обнуляем флаг

class FilmHTMLParser(HTMLParser):
  """ Класс парсера для описаний, создаём на основе HTMLParser """
  content=0
  flag=0
  result=""
  def handle_comment(self, data):
      """ Ищем комменты """
      if "BEGIN: Main table" in data:
          self.content=1
      elif "END: Main table" in data:
          self.content=0

  def handle_starttag(self, tag, attrs):
      """ нужный тег с нужным классом """
      if self.content==1:
          if tag=="p":
              if len(attrs)==1:
                  if attrs[0][1]=="t75":
                      self.flag=1

  def handle_data(self, data):
      """ добавляем содержимое """
      if self.flag==1:
          self.result+=data

  def handle_endtag(self, tag):
      if self.content==1:
          if tag=="p":
              self.flag=0

Теперь скормив этим классам странички с программой или описанием будем получать только нужную информацию. делается это вот так:

p = ChanalHTMLParser()
sock = urllib.urlopen("http://pda.tv.mail.ru/?date="+date+"&channel="+str(chanal.Num)+"&period=3")
htmlSource = sock.read()
htmlSource = unicode(htmlSource, "cp1251") # переводим страничку в юникод. Советую все данный поступающие от пользователя или ещё откуда-нибудь сразу же переводить в unicode. Меньше проблем будет.
sock.close()
p.feed(htmlSource)
print p.result

Для описаний аналогично.

Это всё конечно замечательно, но надо это всё ещё и в бд запихнуть. Для этого нужно подключить к нашему скрипту django'вский ORM. Делается это довольно просто. А именно:

from django.core.management import setup_environ
sys.path.append("Путь до проекта") # т.к core.py у меня лежит в папке с приложением, которое обычно находится внутри папки проекта, то в место прямого пути я написал вот такую штукенцию os.path.split(os.path.dirname(os.path.abspath(__file__)))[0]
import settings
setup_environ(settings)

Ну вот, теперь мы можем использовать всю мощь Django в своём скрипте. Подключаем из нашей недавно созданный модели классы каналы, программы и описания:

from mysite.tv.models import Chanal, Program, Description

для работы с бд я написал отдельный класс, хотя можно было обойтись и без этого:

class DataBase2:
  def get_chanals(self):
      """ Функция просто получает все каналы """
      chanals = Chanal.objects.all()
      return chanals

  def add_programm(self, chanal, ptime, title):
      """ Функция добавляет программу """
      if len(Program.objects.filter(Title=title, Time=ptime, Chanal=chanal))==0: # проверяем нет ли уже такой в бд
          p = Program(Title=title, Time=ptime, Chanal=chanal)
          p.save()
          return p
      else:
          return None

  def add_description(self, programm, content):
      """ Функция добавляет описание """
      if len(Description.objects.filter(Text=content, Program=programm))==0: # опять проверка на клонов
          Description(Text=content, Program=programm).save()

Вобщем-то всё. Осталось написать простой цикл обхода всех страниц и скрипт готов.

Взять его как всегда можно из моего svn: svn checkout http://tvwatcher.googlecode.com/svn/tags/post2/ tvwatcher

Запускаем django сервер, заходим в админку, добавляем какой-нибудь канал, указывая в Num номер канала на мэйле. Запускаем core.py с ключом w, снова идём в админку и видим, что добавились программы и описания этого канала на неделю.

TV программа и svn

Нужно как-то упорядочить код, я думаю. Поэтому последняя версия всегда будет лежать в http://tvwatcher.googlecode.com/svn/trunk/ А исходный код который написан на момент написания каждого поста будет лежать в http://tvwatcher.googlecode.com/svn/tags/

Например исходный код первой части всегда будет доступен отсюда

Пишем Tv программу на Django. Часть 1

Ну вот блог создал. Чуть-чуть его покрутил, теперь и наполнять надо... А наполнять я его по крайней мере по началу буду рассказом о том как я создавал простенькое web приложение на django. В процессе я учусь сам и возможно, кому-то это тоже поможет.

Моим приложением будет Tv программа. Точнее не так, а web2.0Tv программа. :) Делаю я её в общем-то для себя и для моей не большой сети. Потому что на "внешке" всяких программ и так дополна. Тем не менее я попытаюсь написать тру приложение на django, xml+xlst (хотя в этом пока не уверен, может быть и обычным html'ем обойдусь), с ajax'ом, экспортом в разные форматы и тому подобной мишурой.

И так наверно приступим.

Для начала создаём проект:

django-admin.py startproject mysite

создаём приложение:

cd mysite
python manage.py startapp tv

сразу же подключаем его к проекту, для этого в settings.py в INSTALLED_APPS дописываем:

'mysite.tv',

и настраиваем всё остальное, как Вам надо. Да не забудьте раскомментировать django.contrib.admin.

Отлично, теперь необходимо продумать и создать модель нашего приложения. Что необходимо Tv программе передач:

Каналы
Программы
Описание некоторых программ
И каким-то образом привязать это всё к пользователю.

Для каналов у меня получилась такая моделька:

class Chanal(models.Model):
    """ Модель канала """
    class Admin: # Сразу же делаем их видимыми в админке
        list_display = ('Title',) # отображаем только названия
    def __str__(self): # вместа номера объекта будет возвращаться его название
        return self.Title
    Title = models.CharField(maxlength=50)
    Icon = models.ImageField(blank=True, upload_to="tv/images")
    Num = models.IntegerField(blank=True, null=True) # номер канала на сервере откуда его берём
    Slug = models.SlugField(maxlength=255, editable=False) # название канала в транслите, нужно для нормальных урлов
    def save(self):
        """ Функция, которая изменяет стандартный метод сохранения для нормального сохранения поля slug """
        self.Slug = slugify(self.Title.decode(settings.DEFAULT_CHARSET)) 
        super(Chanal, self).save()

Для программ:

class Program(models.Model):
    class Admin: # аналогично делаем видимым в админке
        list_display = ('Title', 'Time', 'Chanal') # отображаем название, время и канал в 3 колонки
    def __str__(self):
        return self.Title
    Title = models.CharField(maxlength=150)
    Time = models.DateTimeField(blank=True)
    Chanal = models.ForeignKey(Chanal) # привязывает программу к каналу

Ну и наконец описание:

class Description(models.Model):
    class Admin:
        list_display = ('Program', 'Text',)
    def __str__(self):
        return self.Text[:50]
    Text = models.TextField(blank=True)
    Program = models.ForeignKey(Program)

Теперь самое сложное. Нужно придумать как привязать это всю к пользователю. Для этого я создал класс setting. Он служит "мостиком" между пользователем и данными приложения.

Для связи этого класса с пользователем было бы логично написать что-то вроде:

Owner = models.ForeignKey(User)

Но тут появляется куча проблем. Где создавать этот класс? При регистрации пользователя? А если они уже есть, то придётся писать какой-то дополнительный скрипт. Короче мороки - куча. Очень красивое решение предложил Иван Сагалаев. У него даже целая статья этому посвящена, советую всем ознакомиться. Не долго думая, тупо копи-пастим его код. :) (как говориться сила OpenSource) После этого у нас появляется замечательное поле AutoOneToOneField. Теперь можно думать дальше. Сразу при планировании я решил, что каналы будут выводится блоками и соответственно было бы неплохо иметь возможность менять их местами. Думал как это сделать попроще довольно долго. Но ничего кроме как создать ещё один класс:

class Place(models.Model):
    Chanal = models.ForeignKey(Chanal)
    N = models.IntegerField()

ничего придумать не смог. :( Если у кого есть идеи - поделитесь пожалуйста.

В результате для setting у меня получилось вот такая штука:

class Setting(models.Model):
    # привязываем класс к пользователю... или наоборот... Не важно.
    Owner = AutoOneToOneField(User, related_name='tv_Setting')
    # Режим выводить все программы за день или только актуальные. То есть те, которые идут сейчас или начинаются позже
    Mode = models.CharField(maxlength=50)
    # Список каналов которые пользователь хочет видеть на главной странице c их номерами
    Chanals = models.ManyToManyField(Place)
    class Admin:
        pass # если в админке видить класс хотим, но ничего специфичного нет, можно как в туториале просто написать pass. Тогда будет выводится название объекта, который у нас подменяется именем пользователя.
    def __init__(self, *args, **kwargs):
        """ Функция вызывается при создании объекта. То есть когда пользователь первый раз обращается к нашему приложению. """
        super(Setting, self).__init__(*args, **kwargs)
        self.Mode = 'new' #  Устанавливаем режим в "только актуальные"
    def __str__(self):
        return str(self.Owner)

Всё что к этому времени написанно можно взять тут: svn checkout http://tvwatcher.googlecode.com/svn/tags/post1/ tvwatcher А последняя версия всегда будет доступна вот тут: svn checkout http://tvwatcher.googlecode.com/svn/trunk tvwatcher

(если хочется просто посмотреть на код, то можно прямо браузером перейти по этим ссылкам и посмотреть)

Теперь в urls.py раскомментируем строчку

(r'^admin/', include('django.contrib.admin.urls')),

Выполняем в консоли:

python manage.py syncdb
python manage.py runserver

Теперь по адресу http://127.0.0.1:8000/admin/ у вас лежит рабочая админка. Туда можно зайти и убедиться, что все наши классы правильно создались.

На этом пока всё. В следующей части займёмся наполнением базы данных.

P.S чуть не забыл. Я использую сторонний модуль pytils от Pythy. Просто закиньте модуль в директорию с проектом. После этого будет работать import.