Table Iteration

[dair_targ_one]

Добрый день!

Java + SpringFramework 2.5 + Oracle

Дана таблица с количеством записей в несколько десятков миллионов штук, у которой есть primary key entity_id number. Так же есть интерфейс:

public interface TableIterator { void processRow(long rowId); }
Вопрос в том, как можно реализовать функцию:

void iterate(String tableName, String

Comments

[hedin]

select * from TABLE where id > LAST_ID
and rownum <=1
ORDER BY id asc

Прогнал на большой табличке, жуткой медленной сортировки не происходит. Однако индекс.

[dair_targ_one]

Спасибо, попробуем.

[hedin]

Единственное надо понимать, что это не гарантирует проход.

Если вам чтото вставят в середину по море этого итерирования,
то как повезет или подхватите или нет.

Если хотите транзакционности то

select * from TABLE

при создании итератора

и resultSet.next() при каждом next() итератора. И ему тогда никакие параметры не нужны ...

Тут надо будет с транзакциями разобраться акуратно ... понимать что соединение заняли ...

[dair_targ_one]

Это не проблема, т.к. если в первый раз не прошли, то в следующий раз точно пройдём.

[gaus]

Первое, что пришло на ум: если pk инкрементальный, то сначала узнать count у таблички, а потом итерировать с нуля до сount-а, предварительно узнавая, есть ли ряд с текущим pk.

[dair_targ_one]

Это слишком большое количество запросов получится.

[gaus]

Разумеется :)

[krlz]

Закройте тег
. Вы мне френдленту порвали.

[dair_targ_one]

хз. У меня не рвёт. Сейчас убрал автоформатирование и сам сверстал. Если не поможет -- это значит косяки оформления ЖЖ, а не моей вёрстки.

[krlz]

Сейчас все в порядке. Спасибо.

[rutllant]

по поводу багов во френдленте лучше писать в support livejournal

[denniskharlamov]

Загляни ко мне в понед. как прийдешь - сделаем

[dair_targ_one]

Спасибо за приглашение. Тут проблема скорее даже не в частном случае, а в общем -- как такое более разумно делать. =)

code_wtf?

[c8ne]

Меня сильно смущает постановака задачи. В интерфейсах подразумевается что при итерации будут вытащены все ключи, что будет достаточно долго даже если мудрить с интревалами на сервере. Для каждого ключа будет скорее всего вытаскиваться запись по отдельности (иначе зачем итерировать), что тоже не быстро. И решение о том вытаскивать запись или нет будет приниматься на основе rowId, что тоже обычно проблематично.

За исключением очень редких случаев, любое решение в рамках приведенного интерфейса будет существенно более медленное чем SQL-запросы специфичные для задачи, и будет хорошим примером для code_wtf. Советую обратить внимание хотя бы на hibernate, если SQL смущает.

Re: code_wtf?

[dair_targ_one]

Штука в том, что в данном случае условие по которому нужно вытаскивать нужные записи слишком сложное как для просто sql-запроса, так и для hibernate restrictions.
А задача далеко не real-time.