Добавлено (10.03.2011, 00:17)
---------------------------------------------
Продолжаю работу над своим каталогизатором,
пока сделал набросок парсера Gamespot.com.
на данном сайте необходимо выбрать первую букву имени игры и он предложит все игры - вышедшие, отменные и предполагаемые.
я буду грабить только игры, которые уже вышли и имеют дату релиза.Для этого я пишу простой LINQ запрос для получения таких игр http://pastebin.com/yMqtJ7VU из всего этого запроса интересна только часть включающая в себя регулярное выражение, где проверяю на ненужный мне статус игры.

также возникла следующая задача. к примеру для игр начинающихся на букву A
http://www.gamespot.com/games.h....mes%3BA
как по этой ссылке, мы видим внизу что есть еще страница, которую необходимо пропарсить.
Без проблем,
создаем еще один LINQ запрос
http://pastebin.com/FS2qS6Rm
далее, встает задача, как это а) удобно б) быстро обработать,
решил, что самое простое - это использовать многопоточность ( вернее двупоточность )
http://pastebin.com/g0p4bn6Z и вышло вот такое

Добавлено (12.03.2011, 15:00)
---------------------------------------------
а я тем временем начинаю отказываться от парсинга HTML спец либами, и возвращаюсь к моим любимым регуляркам....
вечером сегодня или завтра напишу почему я отказываюсь от всеми любимых SGMLReader и HTML Agility Pack

первое что мы делаем - получаем коллекцию всех узлов ( на 4/5 не нужных)
второе мы обращаемся к различным проперти что бы уточнить за узел мы сейчас перебираем ( 2 подзапроса)
потом когда мы уточнили что узел МОЖЕТ БЫТЬ нужным для выборки мы возвращаем новую коллекцию для этой ноды и проверяем одно из значений. Если не подходит - отбрасываем. опять таки маленький оверхед в памяти. потом мы выбираем два значения и причем только из одного элемента ( ElementAt(1) ) коллекции. А куда девать оставшиеся 6 элементов, которые возвращаются ? .
Основное недовольство связано именно с тем, что я получаю элементы которые мне не нужны в данный момент.

что реализовано
! добавление игр, который делает выборку только вышедших игр
! отображение игр в дереве
! отображение описания игры
! добавление ссылок на образы игры

так как это очень ранняя бета, то очень многое не реализовано
вот часть что надо реализовать
ядро программы
! оптимизация скорости выборки игр из интернета
! оптимизация сохранения игр в БД

графическая часть
! отображение обложки игры
! отображение скриншотов игры
! сохранение заметки об игре
! найти (или нарисовать) иконки к приложению
! реализовать копирование добавленных игр, на игровую приставку

так же, наткнулся на интересную багофичу, что драйвер SQLite не может прочитать запись если она содержит NULL.

в целом, приложение стабильно, и все critical bug я постарался убрать до первого коммита.
но сразу после коммита, вылезла одна ошибка архитектуры.
текст описания ошибки в логе репозитория, после того как я исправил ее.

Исправлен критический баг.
Суть - при создании новой базы ( не выходя из приложения ) и добавлении новой игры возбуждось исключение, так как кэш старой базы не обновлялся должным образом, а именно сохранялись старые значения, которые вели к непредсказуемой работе всего приложения.

собственно все.
в дальнейшем планирую доделать графическую часть и потом начать допиливать логику

http://rghost.ru/4816086

так же думал, над тем, что бы юзер мог сам, добавлять ковер, но решил отказаться от этой идеи, так как нарушается целостность работы с одним сайтом.

пока не выкладываю, ибо хочу доделать отображение скриншотов

публикую список фич.
+просмотр обложки игры
+просмотр скриншотов игры
+копирование игр, которые добавил юзер в БД на игровую приставку
+немного переработан внешний вид программы