Programování v jazyku Java soubory a proudy

Transkript

1 Evropský sociální fond Praha & EU: Investujeme do vaší budoucnosti Programování v jazyku Java soubory a proudy BI-PJV Programování v jazyku Java Katedra teoretické informatiky Miroslav Balík Fakulta informačních technologií České vysoké učení technické

2 Soubory Soubor je množina údajů uložená ve vnější paměti počítače, obvykle na disku Pro soubor jsou typické tyto operace: otevření souboru, čtení údaje, zápis údaje, uzavření souboru Přístup k údajům (čtení nebo zápis) může být: sekvenční nebo libovolný (adresovatelný) Soubory se sekvenčním přístupem umožňují pouze postupné (sekvenční) čtení nebo zápis údajů Soubory s libovolným přístupem umožňují adresovatelné čtení nebo zápis údaje (podobně jako pole) Způsob přístupu k údajům v souboru není zakódován v souboru, ale je dán programem Zde se budeme zabývat sekvenčními soubory, pro zájemce i adresovatelnými 2/44

3 Soubory a proudy Java rozlišuje soubory (file) a proudy (stream) soubor je množina údajů uložená ve vnější paměti počítače proudy jsou nástroje k přenosu informací např. z/do souboru, ale také do/ze sítě, paměti, jiného programu, atd. informace může mít tvar znaků, bajtů, skupin bajtů (obrázky ), objektů,.. přenos informace se děje dvoj/třívrstevně v proudech (streams): 1. otevření přenosového proudu pro bajty či znaky 2. otevření přenosového proudu pro datové typy Javy 3. filtrace dat podle požadavků bufferování, řádkování, 3/44

4 Textové proudy Reader a writer musí zajistit konverzi znaků Operační systém Java MS Windows, kódování UCS2 WIN 1250 kód 158 znak ž kód 382 reader UNIX, Linux, ISO kód 190 writer 4/44

5 Balíček java.io je rozsáhlý, obecně koncipovaný, slouží ke vstupu, výstupu a přenosu dat. Jeho hlavní součástí jsou třídy realizující tzv. proudy bytů resp. znaků ( byte resp. character streams ). Tyto třídy jsou potomky čtyř abstraktních tříd: InputStream, OutputStream resp. Reader, Writer. Proudy se otvírají automaticky neexistují metody open, avšak se automaticky neuzavírají nutno volat metodu close( ). V návaznosti s dalšími balíčky java.io podporuje: java.net, javax.net, javax.net.ssl - přenos po síti java.util.zip - standardní komprese dat java.util.jar případně s manifestem java.nio, java.nio.channels - inovované I/O umožňuje pracovat na úrovni kanálů. 5/44

6 Proudění dat INPUT SOURCE OUTPUT SINK READ ZDROJ NORA PROCESS WRITE bytes chars soubor paměť roura síť konzole buffer buffer byte číslo znak řádka objekt chars bytes soubor paměť roura síť konzole 6/44

7 java.io java.lang Comparable<T> ObjectStream Field ObjectStream Class File tag interface Serializable byte Console Input Stream Output Stream Flushable Externalizable char FileFilter FilenameFilter File Descriptor java.lang Reader input streams Stream Tokenizer Writer Appendable output Closeable Random AccessFile DataInput DataOutput 7/44

8 Input Stream InputStream Closeable javax.sound.sampled File InputStream Buffered InputStream Filter InputStream ByteArray InputStream Audio InputStream javax.swing java.util.zip Data InputStream Inflater InputStream ProgressMonitor InputStream java.util.zip Piped InputStream DataInput Object InputStream ObjectInput StringBuffer InputStream ObjectStream Constants Sequence InputStream GZIP InputStream Checked InputStream java.security Zip InputStream Digest InputStream java.crypto Jar InputStream Cipher InputStream 8/44

9

10 Čtení a zápis byte streamu int b = read( ) int b F F F F F F 00-FF F F 0 <= b <= 255 b == -1 EOF write( int b ); close( ); byte[ ] b int lng = read( byte[ ] b, ) 0 <= lng < b.length lng == -1 EOF b.length 0 write( byte[ ] b, ) ; close( ); 10/44

11 Reader java.nio java.lang Char Buffer Readable Closeable Reader InputStream Reader File Reader Buffered Reader LineNumber Reader Filter Reader Pushback Reader Piped Reader CharArray Reader String Reader 11/44

12 Čtení a zápis character streamu int c = read( ) int c FFFF F F F F F F F F 0 <= c <= c == -1 EOF write( c ); close( ); char[ ] c int lng = read( char[ ] c, ) 0 <= lng < c.length lng == -1 EOF c.length 0 write( c, ) ; close( ); String s write( s, ) ; close( ); 12/44

13

14 OutputStream Closeable Flushable java.lang Output Stream Appendable org.omg.corba.portable File OutputStream Buffered OutputStream Filter OutputStream ByteArray OutputStream PrintStream Output Stream java.util.zip Data OutputStream Piped OutputStream DataOutput Object OutputStream ObjectOutput ObjectStream Constants Deflater OutputStream GZIP OutputStream Checked OutputStream java.security Zip OutputStream Digest OutputStream java.crypto Jar OutputStream java.util.zip Cipher OutputStream 14/44

15

16 Writer java.lang Closeable Writer Flushable Appendable OutputStream Writer File Writer Buffered Writer Filter Writer Piped Writer CharArray Writer String Writer Print Writer 16/44

17

18 Překlad bytů na znaky InputStreamReader a OutputStreamWriter slouží jako můstky mezi bytovými a znakovými proudy a dále pro volitelný překlad. Konstruktory: InputStreamReader( InputStream in) InputStreamReader( InputStream in, String enc ) s překladem OutputStreamWriter( OutputStream out ) OutputStreamWriter( OutputStream out, String enc ) s překladem Parametr enc udává kódování např. UTF8 Pro zvýšení efektivity radno používat buffery. Např.: Reader in = new BufferedReader( new InputStreamReader( System.in) ); Writer out = new BufferedWriter( new OutputStreamWriter( System.out) ); 18/44

19 Interfejsy DataInput a DataOutput definují (abstraktní) metody pro čtení / zápis všech primitivů z / do proudu: boolean readboolean( ), byte readbyte( ), char readchar( ), double readdouble( ),... atd. a ještě: - void readfully( byte[ ] b ) - int readunsignedbyte( ) - int readunsignedshort( ) - String readutf( ) void writeboolean( boolean v ), void writebyte( byte v ), void writechar( char v ), void writedouble( double v )... atd. a ještě: - void write( byte[ ] b ) - void writeutf( String s ) Třídy DataInputStream, DataOutputStream a RandomAccessFile tyto interfejsy implementují, čímž umějí pracovat se všemi primitivy. 19/44

20 Kopírování souboru po bytech Přetížené konstruktory FileInputStream a FileOutputStream určují soubor pomocí File nebo FileDescriptor anebo přímo jménem. FileOutputStream navíc umožňuje připsat data ke konci existujícího souboru, což se určí parametrem append v konstruktoru. Příklad: try { File ifile = new File("C:\\in"); File ofile = new File("C:\\out"); FileInputStream fis = new FileInputStream( ifile ); FileOutputStream fos = new FileOutputStream( ofile ); int c; while ( ( c = fis.read( ) )!= -1 ) { fos.write(c); } fis.close( ); fos.close( ); } catch ( IOException ex ) { System.err.println( ex ); } 20/44

21 Kopírování textového souboru po řádcích Přetížené konstruktory BufferedReader a BufferedWriter umožňují nastavit velikost bufru. Metoda readline( ) nevrací znaky přechodu na novou řádku. Writer umožňuje připisovat ke konci existujícího souboru metodou append. BufferedReader br = null; BufferedWriter bw = null; try { br = new BufferedReader( new InputStreamReader( new FileInputStream( "C:\\in.txt" ))); bw = new BufferedWriter( new OutputStreamWriter( new FileOutputStream( "C:\\out.txt" ))); String s = null; while ( (s = br.readline( ) )!= null ) { bw.write( s ); bw.newline( ); } } catch ( IOException ex ) { System.err.println( ex ); } finally { if ( br!= null ) br.close( ); if ( bw!= null ) bw.close( ); } 21/44

22 Filtrování textového souboru po řádcích class TextFilter extends LineNumberReader { String s, stop ; public TextFilter( BufferedReader in, String stop ) { super( in ); this.stop=stop; } public String readline( ) { try { while ( (s=super.readline( ) )!= null ) { if ( s.length( ) == 0 ) continue; // odstraní prázdné řádky if ( s.startswith( stop ) ) return null; // podmínka ukončení return s; } } catch ( Exception ex ) { } return null; } } 22/44

23 Překlad souboru Přetížené konstruktory FileReader a FileWriter určují soubor pomocí File nebo FileDescriptor anebo přímo jménem. Kopírování souboru po znacích s překladem defaultního kódu do UTF8: public static void main( String[ ] args ) throws Exception { FileReader fr = new FileReader( "Test.txt" ); OutputStreamWriter osw = new OutputStreamWriter( new FileOutputStream( "Test.UTF8" ), "UTF8" ); int c; while ( (c = fr.read( ) )!= -1 ) osw.write( c ); fr.close( ); osw.close( ); } 23/44

24 Seznam slov v souboru Vstup: První slovo druhé a třetí. Máma mele maso. Mleté maso. Máma a táta se učí programovat. Výstup: Mleté Máma První a druhé maso. mele programovat. se slovo táta třetí. učí 24/44

25 Seznam slov v souboru - Java 5 public class VypisRuznychSlovNewJava { private static Scanner scan; public static void main(string[ ] args) { SortedSet<String> slova = nactivsechnaslova(); vypisjevporadipodleabecedy(slova); }.... } SortedSet<String> možno vkládat pouze řetězce kontroluje se to při překladu, je to typově bezpečné 25/44

26 Seznam slov v souboru - Java 5 private static SortedSet<String> nactivsechnaslova() { SortedSet<String> slova = new TreeSet<String>(); try { scan = new Scanner(new FileInputStream("vstup.txt")); while(scan.hasnext()){ slova.add(scan.next()); //přidá další slovo, pokud se neopakuje, vkládat lze pouze //řetězce typ String } } catch (IOException ex) { System.out.println("Soubor vstup.txt nebyl nalezen."); } return slova; } 26/44

27 Seznam slov v souboru - Java 5 private static void vypisjevporadipodleabecedy(sortedset<string> slova) { for (Iterator<String> it = slova.iterator(); it.hasnext();) { String slovo = it.next(); System.out.println(slovo); } } Z kolekce vybíráme slova typ String, není nutné přetypovávat 27/44

28 Seznam slov v souboru - Java 5 private static void vypisjevporadipodleabecedy (SortedSet<String> slova) { for (String slovo : slova) { System.out.println(slovo); } } Nový cyklus foreach Tento cyklus se čte: Pro každé slovo z kolekce slova proveď jeho výpis 28/44

29 Třída File Objekt typu File představuje soubor resp. adresář nikoli vlastní data na lokálním disku. Umožňuje přístup, informace, manipulace a cestu absolutní či relativní k pracovnímu adresáři ( začíná-li lomítkem či nikoli ). Konstruktory jen určují jen jméno, cestu případně i formou URI. Některé důležitější metody: boolean createnewfile( ) - vytvoří nový skutečný soubor pokud neexistuje boolean mkdir( ) - vytvoří skutečný adresář String getabsolutepath( ) - zjistí absolutní cestu boolean isdirectory( ), boolean isfile( ) - zjistí typ, neexistuje-li pak false String[ ] list( ) - vytvoří seznam souborů a podadresářů v adresáři boolean exists( ) - zjistí existenci boolean canread( ), boolean canwrite( ) - zjistí možnosti práce void delete( ) - zruší soubor nebo adresář long length( ) - zjistí rozsah souboru boolean renameto ( File name ) - přejmenuje soubor resp. adresář long lastmodified( ) - zjistí čas poslední modifikace 29/44

30 Třída File Vytvoření adresáře a souboru, zápis dat a přejmenování : File dir1 = new File( "C:\\K\\L" ); dir1.mkdirs( ); File file1 = new File( dir, "X.txt" ); file1.createnewfile( ); PrintWriter pw = new PrintWriter( file1 ); pw.println( "blablabla" ); pw.close( ); File dir2 = new File( "C:\\K\\M" ); dir1.renameto( dir2 ); File file2 = new File( dir2, "X.txt" ); File file3 = new File( dir2, "Y.txt" ); file2.renameto( file3 ); 30/44

31 Rekurzivní výpis adresáře static final String spc= " "; public static void main( String[ ] args ) { dir( null, "C:\\MyDir", 0 ); } static void dir( File dir, String name, int level ) { File f = ( dir == null )? new File( name ) : new File( dir, name ); String inset = spc.substring( 0, level ); System.out.println( inset + name ); if ( f.isfile( ) ) return; String[ ] sl = f.list( ) ; for ( int i = 0; i < sl.length; i++ ) dir( f, sl[ i ], level+1 ); } 31/44

32 Proudění rourou Konstruktory ( nepřipojené se připojí později metodou connect( ) ): PipedInputStream( PipedOutputStream src ) PipedInputStream( ) ještě nepřipojený PipedOutputStream( PipedInputStream snk ) PipedOutputStream( ) ještě nepřipojený Příklad toku náhodných bytů rourou od producenta ke konzumentovi: class Producer extends Thread { OutputStream os; Producer( OutputStream os ) { this.os = os; } public void run( ) { for ( int i = 0; i < 10; i++ ) try { os.write( (int) ( Math.random( ) * 256) ); } catch ( IOException ex ) { } } } 32/44

33 Proudění rourou class Consumer extends Thread { InputStream is; Consumer( InputStream is ) { this.is = is; } public void run( ) { int i; try { while ( ( i = is.read( ) )!= -1 ) System.out.println( i ); } catch ( IOException ex ) { } } } class TestPipe { public static void main( String[ ] args ) throws Exception { PipedInputStream pi = new PipedInputStream( ); PipedOutputStream po = new PipedOutputStream( pi ); new Producer( po ).start( ); new Consumer( pi ).start( ); } } 33/44

34 Serializace do výstupu Objekty typu Serializable lze přenést objektovým proudem tzv. serializací, jež rozloží hodnoty jeho (nestatických) atributů na byty, přičemž modifikátory přístupu nemají vliv. Všechna pole jsou serializovatelná. Neserializují se atributy označené static či transient ani třídy ani metody. Rekurzivní probírkou referencí se serializují i všechny referované objekty tedy i velmi rozsáhlý graf. Všechny jeho objekty musí být Serializable. FileOutputStream out = new FileOutputStream( "thetime" ); ObjectOutputStream oos = new ObjectOutputStream( out ); oos.writeobject( "Today" ); oos.writeobject( new Date( ) ); oos.close( ); // event. oos.flush Každý další stav téhož objektu lze zapsat jen zavoláním oos.reset( ) před vlastním zápisem. Serializaci lze využít i pro hluboké klonování skrze ByteArray Streamů. 34/44

35 Deserializace vstupu je obnovení objektu ( tj. i celého grafu ) jsou-li k dispozici odpovídající třídy- kompatibilní dle serialversionuid. Deserializace nevolá konstruktory Serializable tříd, neboť by nastavily iniciální hodnoty. Volá však konstruktory nadtříd které nejsou Serializable. Nepřenesené atributy nastaví na jejich defaultní hodnoty dle jejich typu. FileInputStream in = new FileInputStream( "thetime" ); ObjectInputStream ois = new ObjectInputStream( in ); String today = ( String ) ois.readobject( ); Date date = ( Date ) ois.readobject( ); Jelikož metoda ois.readobject( ) vrací typ Object, je vhodné přetypovat. Zjistit typ lze metodou getclass( ) anebo operátorem instanceof(doporučeno). Objektové proudy implementují DataInput resp. DataOutput a tudíž lze proudem přenášet i primitivní hodnoty, řetězy a UTF. 35/44

36 serialversionuid Serializovatelné třídy mají identifikaci verze pomocí přiřazené konstanty serialversionuid stanovené výpočtem či přiřazením. Hodnotu serialversionuid lze zjistit programem jdk1.6\bin\serialver.exe classpath... class,... což je hešová hodnota odvozená z některých charakteristik třídy. Při serializaci se přikládá do objektového proudu viz třída java.io.objectstreamconstants. Při deserializaci se porovná s hodnotou třídy na vstupní straně. Při neshodě se vyhodí výjimka. Programátor může explicitně stanovit, že třídy jsou kompatibilní tím, že třídě vnutí určitou hodnotu atributu např: private static final long serialversionuid= l; 36/44

37 (De)serializace a dědičnost Pokud serializujeme instanci potomka (musí být Serializable) tak 1. buď i rodič implementuje Serializable a pak je serializován v rámci potomka, 2. nebo Předek musí mít bezparametrický konstuktor(implicitní či explicitní). Tento je volán během deserializace. 37/44

38 (De)serializace a dědičnost - příklad public class Rodic { public int a = 3; public Rodic(){ a = 5; } } public class Potomek extends Rodic implements Serializable{ public int p = 3; public Potomek(int pp){ p = pp; } public String tostring() { return "Potomek p " + p + " rodic a " + super.a; }} Potomek p = new Potomek(12); main p.a = 11; System.out.println("Pred serializaci " + p);...serializace p = null; // určitě tam nic nechci nechat... deserializace if(p!=null)system.out.println("po deserializaci " + p); Pred serializaci Potomek p 12 rodic a 11 Po deserializaci Potomek p 12 rodic a 5 38/44

39 Naše vlastní ovládání serializace a deserializace (De)serializace funguje automaticky, ale výběr a pořadí lze ovládat připsáním dvou metod do serializovatelné třídy class A implements Serializable { static int i = 3; // neserializuje se transient int j = 5; // neserializuje se double d = 1.41; private void writeobject( ObjectOutputStream oos ) throws IOException { oos.writeint( i ); // serializuje se oos.defaultwriteobject( ); // serializuje normálně tj. jen d } private void readobject( ObjectInputStream ois ) throws IOException, ClassNotFoundException { i = ois.readint( ); // deserializuje se ois.defaultreadobject( ); // deserializuje normálně tj. jen d j = -1; // bez přenosu jen nastavení }} 39/44

40 java.io.externalizable Pro realizaci vlastních představ lze implementovat třídu tímto interfejsem, definovat explicitní public konstruktor bez parametrů a dvě metody, které jsou plně zodpovědné za ser-deser objektu i dat nadtříd. public void writeexternal( ObjectOutput stream ) throws IOException { stream.writeint( i ); stream.writeobject( "Well done." ); } public void readexternal( ObjectInput stream ) throws IOException, ClassNotFoundException { i = stream.readint( ); String msg = ( String ) ( stream.readobject( ) ); System.out.println( msg ); } Externalizovaný vstup používá konstruktor, serializovaný nikoli. Externalizace je rychlejší než serializace, neboť JVM neanalyzuje strukturu. 40/44

41 Komprese Lze vytvořit standardní soubor.zip,.gzip nebo.jar, který je čitelný standardními programy - např. WinZip. Kompresi provádí Deflater. OutputStream os = new FileOutputStream( "C:\\data.zip" ); ZipOutputStream zos = new ZipOutputStream( os ); ZipEntry ze1 = new ZipEntry( "dir1 \\ dir2 \\ YY" ); zos.putnextentry( ze1 ); for ( int i = 0; i < 10000; i++ ) { zos.write( i ); } ZipEntry z2 = new ZipEntry( "dir1 \\ ZZ" ); zos.putnextentry( ze2 ); for ( int i = 0; i < 10000; i++ ) { zos.write( i ); }... zos.close(); 41/44

42 Dekomprese Takto lze dekomprimovat standardní.zip,.gzip a.jar. Dekompresi provádí Inflater. InputStream is = new FileInputStream( "C:\\data.zip" ); ZipInputStream zis = new ZipInputStream( is ); ZipEntry ze; int i; while ( ( ze = zis.getnextentry( ) )!= null ) { while ( ( i = zis.read( ) )!= -1 ) { System.out.print( i + " " ); } } zis.close( ); 42/44

43 ZipFile a ZipEntry Uložení entry a dat je patrně různé při kompresi ZipOutputStreamem a některými oblíbenými programy např. WinZip 7.0. Pro čtení a dekompresi je pak třeba použít ZipFile. ZipFile zf = new ZipFile ( "C:\\windata.zip" ); Enumeration en = zf.entries( ); while ( en.hasmoreelements( ) ) { System.out.print( en.nextelement( ) ; } ZipEntry ze = zf.getentry( "dir1 / ZZ" ); InputStream is = zf.get InputStream( ze ) ; int i; while ( ( i = zis.read( ) )!= -1 ) { System.out.print( i + " " ) ; } zis.close( ) ; zf.close( ) ; 43/44

44 Třída RandomAccessFile Umožňuje libovolný přístup, čtení, zápis i připisování jakoby bytového pole realizovaného na periferním zařízení. Konstruktory mají mody: r, rw pro čtení i zápis, rws, rwd pro synchonizovanou aktualizaci bratra. Instanční metody: void close( ) uzavře soubor long getfilepointer ( ) - vrátí pointer void seek ( long pos ) - nastaví pointer read ( ), readxxx( ), readline různé způsoby čtení write ( ), writexxx( ) - různé způsoby psaní long length ( ) - zjistí rozsah souboru void setlength ( long newlength ) - změní rozsah souboru int skipbytes ( int n ) - přeskočí FileChannel getchannel ( ) vrátí kanál bratra FileDecriptor getfd ( ) umožňuje připojení a synchronizaci bratra 44/44